[論文レビュー] Deep Multi-Instance Transfer Learning

Dimitrios Kotzias, Misha Denil+2 more|arXiv (Cornell University)|Nov 12, 2014

Topic Modeling参考文献 29被引用数 15

ひとこと要約

本稿では、深層ニューラルネットワーク埋め込みを用いて、粗いスコア（レビュー単位）のラベルから細かい文単位のセンチメントラベルを推定する、深層マルチインスタンス転移学習フレームワークを提案する。学習済み文表現の類似性と正則化された多様体学習目的関数を活用することで、人的ラベルコストを著しく削減しつつ、文のセンチメント予測で最先端の性能を達成し、100%再現率における精度で、教師ありフレーズ単位モデルを上回った。

ABSTRACT

We present a new approach for transferring knowledge from groups to individuals that comprise them. We evaluate our method in text, by inferring the ratings of individual sentences using full-review ratings. This approach, which combines ideas from transfer learning, deep learning and multi-instance learning, reduces the need for laborious human labelling of fine-grained data when abundant labels are available at the group level.

研究の動機と目的

• センチメント分析における個々の文のラベル付けコストの高さに対処するため、グループ化されたデータ（レビュー）から個々のインスタンス（文）へラベルを転送する。
• 深層ニューラルネットワーク埋め込みを活用して、文間の意味的類似性をモデル化し、マルチインスタンス学習の性能を向上させる手法を開発する。
• 豊富に入手可能なグループレベルのラベル（例：全レビュー評価）を活用することで、高価な細かい人的ラベルに依存するのを減らす。
• 制限された訓練データを用いて、特定の映画における俳優などのエンティティに対する文脈特化センチメント予測を可能にする。

提案手法

• 意味的および構造的特徴を捉えるために、語、文、レビューのための深層埋め込みを生成する、教師ありドキュメント畳み込みニューラルネットワーク（Denil et al.）を訓練する。
• これらの学習済み埋め込みを、レビュー単位の評価から個々の文へラベルを転送するための正則化された多様体学習目的関数の入力特徴として使用する。
• バッグ（レビュー）のラベルがインスタンス（文）のラベルの期待値によって決定されるという仮定に基づき、マルチインスタンス学習目的関数を定式化し、ラベル転送を可能にする。
• 埋め込み空間における局所構造を保持する類似度ベースの正則化子を最適化することで、意味的に類似した文が類似した予測ラベルを受けるように保証する。
• 再現率をベースライン手法（中立予測を情報なしとみなす）と一致させるために、中立クラスのしきい値（b = 0.048）を補正する。
• 特定の映画のレビューに限定した訓練データを用いて、モデルを文脈特化設定に適用し、エンティティレベルのセンチメント予測（例：映画における俳優に対するセンチメント）を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク埋め込みは、グループレベルのデータ（レビュー）から個別インスタンス（文）へラベルを転送するマルチインスタンス学習フレームワークにおいて、効果的に使用可能か？
• RQ2 レビュー単位のラベルしか入手できない状況で、弱教師ありマルチインスタンス学習モデルの性能は、強教師ありフレーズレベルセンチメント分類器と比べてどの程度か？
• RQ3 学習済み文埋め込みが、細かいラベルが存在しない状況でも、局所構造をどの程度保持できるか？
• RQ4 制限された訓練データを用いて、特定の文脈（例：映画）内での特定のエンティティ（例：俳優）のセンチメントを予測できるか？
• RQ5 完全教師ありアプローチと比較して、ラベル付きインスタンス数が著しく減少した場合でも、本手法は性能を維持または向上させるか？

主な発見

• 提案された深層マルチインスタンス転移学習手法は、文単位のラベルが存在しないにもかかわらず、100%再現率における精度で、最先端の教師ありフレーズレベルセンチメント分類器（Socher et al.）を上回った。
• 中立予測を無視した場合、本手法はベースラインと同等の精度を維持しながら、全再現率における精度で著しく優れた性能を示した。
• 弱教師あり学習（グループレベルのラベル）を用いた本手法は、フレーズレベルの強教師ありベースラインを100%再現率における精度で上回り、グループレベルのラベルによる弱教師あり学習が、フレーズレベルの強教師あり学習を凌駕できることを示した。
• 正則化された多様体目的関数を用いた学習済み埋め込み空間の利用により、文単位のラベルが欠如している状況でも、効果的なラベル転送が可能となった。
• 特定の映画における俳優のセンチメント予測は、妥当な順位付け（例：レオナルド・ディカプリオの役割が推定センチメントに基づいて順位付け）を生み出し、本手法が文脈依存のセンチメントを適切に捉える能力を有していることを検証した。
• 本手法は、レビューコーパスが著しく肯定的であっても、最も肯定的および否定的な文を効果的に同定でき、カスタマーサービス向上などの応用において価値がある。