[論文レビュー] Cross-Target Stance Classification with Self-Attention Networks

Chang Xu, Cécile Paris+2 more|arXiv (Cornell University)|May 17, 2018

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、ドメイン固有の側面を学習することで、ソースターゲット（例：気候変動）からデスティネーションターゲット（例：鉱業プロジェクト）へ知識を転送する自己注意ニューラルネットワーク、CrossNetを提案する。モデルはターゲット間で共有される高レベルのドメイン的関心に注目することで一般化を向上させ、ベースラインと比較して関連するターゲットにおいて優れた性能を達成する。

ABSTRACT

In stance classification, the target on which the stance is made defines the boundary of the task, and a classifier is usually trained for prediction on the same target. In this work, we explore the potential for generalizing classifiers between different targets, and propose a neural model that can apply what has been learned from a source target to a destination target. We show that our model can find useful information shared between relevant targets which improves generalization in certain scenarios.

研究の動機と目的

• 新しいターゲットごとに再トレーニングが必要なターゲット特化型ステイント分類器の限界を解消すること。
• 共有されるドメイン的側面を活用することで、モデルが関連するターゲット間で一般化できるかどうかを調査すること。
• 異なるが関連するターゲットのステイントに共通するドメイン固有の側面を特定・利用する手法を開発すること。
• 関連するソースターゲットからの知識を活用して、未観測のターゲットにおけるゼロショットまたはフェイントショットステイント分類を改善すること。
• 自己注意メカニズムが、クロスターゲット推論に適した意味的に関連する文の部分を効果的に強調できることを検証すること。

提案手法

• ステイントを含む文とターゲットの両方に対して別々のBiLSTMネットワークを備えたデュアルエンコーダアーキテクチャを採用する。
• ターゲットBiLSTMの最終隠れ状態とセル状態を初期値として文のBiLSTMを初期化することで、ターゲット依存の文脈をモデル化する条件付き符号化を適用する。
• アスペクト注目層で自己注意メカニズムを用い、ドメイン固有の側面に対応する文の部分を特定・重み付けする。
• 全コーパスにわたって注目パラメータを共有することで、複数の例から再帰的でドメイン関連のパターンを学習する。
• 注目重みを活用して、ユーザーの核心的関心を反映するキーフレーズ（例：'リーフ'、'環境的災害'）に注目する。
• ソースターゲットからの知識を活用して、デスティネーションターゲットにおけるステイントラベル（賛成、反対）をエンドツーエンドで予測するようにモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 1つのターゲットでトレーニングされたステイント分類器が、異なるが関連するターゲットに効果的に一般化できるか。
• RQ2 異なるターゲットのステイントに共通して注目されるドメイン固有の側面の種類は何か。
• RQ3 自己注意メカニズムが、クロスターゲット推論に適した文の意味的に関連する部分をどれほど効果的に特定・注目できるか。
• RQ4 提案手法の性能は、ベースラインモデルと比較してクロスターゲットステイント分類においてどのように異なるか。
• RQ5 モデルは、ソースコーパスではまれだがデスティネーションターゲットにとって重要なターゲット固有のキーワード（例：'中絶'、'トランプ'）を無視できるか。

主な発見

• 提案されたCrossNetモデルは、複数の強力なベースラインと比較して、共有される懸念事項がある分野において、デスティネーションターゲットにおけるステイント分類性能を顕著に向上させる。
• 自己注意重みの可視化結果から、モデルは鉱業プロジェクトのステイント分類において、'リーフ'、'破壊'、'環境的災害'といったドメイン関連のフレーズを効果的に強調していることが示された。
• モデルは、女性の権利分野では「フェミニスト」、「平等」、「権利」、アメリカ政治分野では「大統領」、「夢」、「共和党」といったドメイン固有の側面を学習しており、効果的なドメイン表現学習が行われていることが示された。
• デスティネーションターゲット固有の語（例：'中絶'、'トランプ'）は、ソースターゲットからの一般化ではうまく捉えられていないことが確認され、モデルが共有されるドメイン的側面に依存していることが裏付けられた。
• モデルは、語彙的重複ではなく、高レベルの関心事（例：環境的ダメージ）に注目することで、意味的に関連するターゲット間で効果的な転移学習を実現しており、一般化が可能である。
• アスペクト注目層は、感情的で重要な語やドメイン的に重要な語（例：'素晴らしい'、'狂った'、'犯罪者'）を効果的に特定・強調しており、正確なステイント予測に寄与している。