[論文レビュー] Self-Adaptive Hierarchical Sentence Model

Han Zhao, Zhengdong Lu+1 more|arXiv (Cornell University)|Apr 20, 2015

Topic Modeling参考文献 31被引用数 52

ひとこと要約

本稿では、語のセグメントを再帰的なゲート付き合成により多スケール表現を構築する自己適応型階層的文モデルAdaSentを提案する。ゲートネットワークを用いて最適な表現を動的に選択可能であり、勾配消失を軽減し分類精度を向上させる、タスク固有の適応的表現を学習する。このモデルは、5つのベンチマークデータセットにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

The ability to accurately model a sentence at varying stages (e.g., word-phrase-sentence) plays a central role in natural language processing. As an effort towards this goal we propose a self-adaptive hierarchical sentence model (AdaSent). AdaSent effectively forms a hierarchy of representations from words to phrases and then to sentences through recursive gated local composition of adjacent segments. We design a competitive mechanism (through gating networks) to allow the representations of the same sentence to be engaged in a particular learning task (e.g., classification), therefore effectively mitigating the gradient vanishing problem persistent in other recursive models. Both qualitative and quantitative analysis shows that AdaSent can automatically form and select the representations suitable for the task at hand during training, yielding superior classification performance over competitor models on 5 benchmark data sets.

研究の動機と目的

• 階層的文構造とタスク固有の意味を捉えるために固定長の文表現の限界を是正すること。
• 再帰的ニューラルネットワークで一般的に見られる勾配消失問題を、タスクに適応した表現の動的合成によって軽減すること。
• 文表現におけるフラットで固定長のベクトル表現の代替として、マルチスケールの階層的表現を検討すること。
• 入力とタスクの文脈に基づき、最も関連性の高い表現レベル（語、句、文）を自動的に選択可能にすること。
• 階層的表現を学習可能なゲート機構で適応的に組み合わせることで、文分類の性能を向上させること。

提案手法

• 隣接する語セグメントの再帰的ゲート付き合成を用いて、階層的表現のピラミッドを構築し、フレーズレベルおよび文レベルの表現を形成する。
• 各階層のレベルに対して信念スコアを計算するゲートネットワークを採用し、タスクに最も適した表現を動的に選択可能にする。
• 階層的表現の凸結合を用い、ゲートネットワークが入力とタスクの文脈に基づいて重みを割り当てる。
• ゲート処理の前に、各階層レベルでグローバルプーリング（平均または最大）を適用し、コンactな表現を生成する。
• バックプロパゲーションを用いてエンド・ツー・エンドでモデルを訓練し、ゲートネットワークが最適化中に情報量の多いレベルを強調するように学習する。
• 各階層的レベルが正しい表現である確率をモデル化する信念スコア機構を導入し、注目メカニズムに類似した選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 入力とタスクの文脈に基づき、階層的文モデルが語、句、文のうち最も適切な表現レベルを動的に選択できるか？
• RQ2 再帰的階層構造にゲートネットワークを適用することで、固定長表現と比較して文分類タスクの性能が向上するか？
• RQ3 適応的表現選択によって、再帰的ニューラルネットワークで一般的に見られる勾配消失問題をどの程度軽減できるか？
• RQ4 分類精度と頑健性の観点から、マルチスケール階層的表現はcBoW、RNN、GRUベースのモデルと比較してどの程度優れているか？
• RQ5 明示的な表現選択の教師信号なしに、エンド・ツー・エンドの学習のみでタスク固有の表現を学習できるか？

主な発見

• AdaSentは5つのベンチマークデータセットで最先端の性能を達成した：MRで79.84%、CRで83.61%、SUBJで92.19%、MPQAで90.42%、TRECで91.10%であり、cBoW、RNN、BRNN、GrConvを含むすべてのベースラインを上回った。
• モデルは優れた頑健性を示し、10回の実行における分散が小さい（例：MRで1.26%の標準偏差）ことから、異なる初期化条件下でも一貫した性能を発揮した。
• 定性的な分析では、ゲートネットワークが、高レベルの表現が誤りであっても、最も情報量の多い表現レベルに最も高い信念スコアを割り当てており、これが正しい最終予測に繋がっていることが示された。
• PCAによる可視化では、特にSUBJ、MPQA、TRECデータセットにおいて、cBoWと比較してAdaSentがより判別力があり、クラス分離性に優れた表現を学習していることがわかった。
• 明示的な制約なしに、階層的で適応的な設計が、優れた特徴の分離を可能にするため、モデルがクラスを暗黙的に分離していることが示唆された。
• AdaSentは、ルートノードの信念スコアが1.0である場合のGrConvを特別なケースとして包含しており、その柔軟性とより広い適用可能性を確認した。