[論文レビュー] Why and How to Pay Different Attention to Phrase Alignments of Different Intensities

Wenpeng Yin, Hinrich Schütze|arXiv (Cornell University)|Apr 23, 2016

Topic Modeling参考文献 35被引用数 3

ひとこと要約

本稿では、Gated Recurrent Units (GRUs) を用いたタスク適応型アテンションメカニズムを提案し、テキスト entailment (TE) における弱いアラインメントと answer selection (AS) における強いアラインメントの、強度の異なるフレーズアラインメントを動的に優先順位付けする。任意の粒度のフレーズ表現を学習し、柔軟なアテンションプーリングを適用することで、本モデルは TE および AS の両ベンチマークで最先端の性能を達成した。アラインメント強度の好みがタスクに依存することを示した。

ABSTRACT

This work studies comparatively two typical sentence pair classification tasks: textual entailment (TE) and answer selection (AS), observing that phrase alignments of different intensities contribute differently in these tasks. We address the problems of identifying phrase alignments of flexible granularity and pooling alignments of different intensities for these tasks. Examples for flexible granularity are alignments between two single words, between a single word and a phrase and between a short phrase and a long phrase. By intensity we roughly mean the degree of match, it ranges from identity over surface-form co-occurrence, rephrasing and other semantic relatedness to unrelated words as in lots of parenthesis text. Prior work (i) has limitations in phrase generation and representation, or (ii) conducts alignment at word and phrase levels by handcrafted features or (iii) utilizes a single attention mechanism over alignment intensities without considering the characteristics of specific tasks, which limits the system's effectiveness across tasks. We propose an architecture based on Gated Recurrent Unit that supports (i) representation learning of phrases of arbitrary granularity and (ii) task-specific focusing of phrase alignments between two sentences by attention pooling. Experimental results on TE and AS match our observation and are state-of-the-art.

研究の動機と目的

• テキスト entailment (TE) や answer selection (AS) といった文対分類タスクにおいて、異なる強度のフレーズアラインメントがそれぞれどのように寄与するかを調査すること。
• 従来の手法が手作業で特徴を設計したり、固定されたアラインメントフレームワークや、強いアラインメントが常に重要であると仮定する硬直的なアテンションメカニズムに依存するという限界を解決すること。
• 任意の粒度のフレーズ表現を学習し、タスク固有のニーズに応じてアテンションを適応的に調整できる深層学習アーキテクチャを開発すること。
• TE は弱いアラインメント（例：言い換えや変換されたフレーズ）に注目することで利益を受けるが、AS は強いアラインメント（例：正確な一致や意味的に近い一致）に注目することで利益を受けることを実証すること。

提案手法

• Gated Recurrent Units (GRUs) を用いて、任意の長さおよび粒度のフレーズの密度の高い、タスクに依存しない表現を学習する。
• アテンションプーリング機構を適用し、アラインメントの強度に応じて柔軟に強調できるようにする。タスク固有の設定として、TE では min-pooling（弱いアラインメントに注目）、AS では max-pooling（強いアラインメントに注目）を採用する。
• 2段階のアテンションプーリング機構を導入する：まず、フレーズペア間のアテンションを計算して関連するアラインメントを特定し、次にプーリング（k-min または k-max）により意思決定に最も有益なアラインメントを選択する。
• 共有されたフレーズ表現学習を有する統一アーキテクチャを TE および AS の両タスクに適用し、タスク固有の要件に応じた異なるアテンション戦略を採用する。
• マッチング性能の向上を図るため、最終的な分類器ヘッドでコサイン類似度と追加特徴（例：WordCnt, WgtWordCnt）を用いる。

実験結果

リサーチクエスチョン

• RQ1 テキスト entailment (TE) と answer selection (AS) の両タスクにおいて、異なる強度のフレーズアラインメントがそれぞれどのように寄与するか？
• RQ2 1つのニューラルアーキテクチャが、タスクに応じてアラインメントの強度に応じてアテンションを動的に適応させ、優先順位を変更できるか？
• RQ3 強いアラインメントが常に分類性能に寄与するという仮定は妥当か？あるいは、TE のような特定のタスクでは弱いアラインメントが重要であるのか？
• RQ4 エンドツーエンドのフレーズ表現学習を備えた深層学習モデルは、手作業で特徴を設計する手法や固定されたアラインメント機構に依存する手法を上回ることができるか？

主な発見

• 本モデルは、弱いアラインメントに注目することで、SNLI データセットにおけるテキスト entailment で最先端の性能を達成した。
• answer selection のための WikiQA データセットにおいて、k-max-max-pooling を用いて MAP 0.7108、MRR 0.7203 を達成し、AP-CNN や ABCNN などのベースラインを顕著に上回った。
• 可視化結果から、表面的な形が異なるにもかかわらず、'kids' が 'young boys' に対応し、'smiling nearby' が 'a smile' に対応するなど、重要なフレーズを正しく同定していることが確認された。
• k-min-pooling のバージョンは、TE における重要な弱いアラインメント（例：言い換えフレーズ）を効果的に検出できた。一方、AS における k-max-pooling は、強い正確一致を強調した。
• 2段階のアテンションプーリング機構により、関数語（例：'and' や 'near'）の影響を受けるような poorly aligned フレーズをフィルタリングし、ノイズを低減した。
• GRUベースのフレーズ表現学習により、同じ埋め込み空間内で異なる粒度のフレーズ同士を直接比較可能となった。これは、固定フィルタサイズを持つCNNベースのモデルとは対照的である。