[論文レビュー] DAN: Dual-View Representation Learning for Adapting Stance Classifiers to New Domains

Chang Xu, Cécile Paris+4 more|arXiv (Cornell University)|Mar 13, 2020

Topic Modeling参考文献 33被引用数 6

ひとこと要約

本稿では、主観的（意見に基づく）および客観的（事実に基づく）なスタンス表現を別々にモデル化することで、新しいドメインへのスタンス分類器の適応を向上させる二重視点表現学習フレームワークDANを提案する。二つの異なる視点でドメイン不変特徴を学習し、最適に統合することで、単一視点手法に比べてより良い整合性とスタンス識別性能を達成し、20のドメイン適応タスクにおいて一貫して最先端のベースラインを上回る。また、プロキシA距離値も低く抑えている。

ABSTRACT

We address the issue of having a limited number of annotations for stance classification in a new domain, by adapting out-of-domain classifiers with domain adaptation. Existing approaches often align different domains in a single, global feature space (or view), which may fail to fully capture the richness of the languages used for expressing stances, leading to reduced adaptability on stance data. In this paper, we identify two major types of stance expressions that are linguistically distinct, and we propose a tailored dual-view adaptation network (DAN) to adapt these expressions across domains. The proposed model first learns a separate view for domain transfer in each expression channel and then selects the best adapted parts of both views for optimal transfer. We find that the learned view features can be more easily aligned and more stance-discriminative in either or both views, leading to more transferable overall features after combining the views. Results from extensive experiments show that our method can enhance the state-of-the-art single-view methods in matching stance data across different domains, and that it consistently improves those methods on various adaptation tasks.

研究の動機と目的

• 新しいドメインにおける注釈付きスタンスデータの不足という課題に対処し、スタンス分類のドメイン適応を改善すること。
• 主観的（意見を含む）および客観的（事実に基づく）な発話という二つの異なる言語的タイプのスタンス表現を特定し、モデル化すること。
• それぞれの表現タイプに特化した言語的特徴を考慮し、ドメイン不変でスタンス識別に有効な特徴を別々の視点で学習する二重視点適応ネットワーク（DAN）を設計すること。
• 二重視点特徴の共同学習と最適な統合が、単一視点アプローチに比べてより良い整合性と性能をもたらすことを検証すること。
• 定量的および定性的な分析を用いて、DANが多様な適応タスクにおいて有効であることを示すこと。

提案手法

• DANは各入力発話を、主観的表現（意見）と客観的表現（事実）の二つの視点に分解し、それぞれの視点で別々の特徴学習を可能にする。
• 各視点で視点特化ドメイン検出器（識別器）を用いて、敵対的訓練により各視点におけるドメイン不変性を強制する。
• 各視点は、その表現タイプに特化した言語的特徴に適合した共有エンコーダーを介して、スタンス識別に有効な特徴を学習する。
• 学習可能な統合メカニズムを用いて、両視点から最も性能の良い特徴を組み合わせることで、統一的かつ転送可能な表現を生成する。
• すべてのコンponentsは、スタンス分類とドメイン敵対的目的を組み合わせたマルチタスク損失を用いて、バックプロパゲーションにより同時に学習する。
• 本フレームワークは、既存の単一視点ドメイン適応手法（例：DANN、WDGRL）と互換性があり、二重視点学習メカニズムを統合することで性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 主観的および客観的スタンス表現を別々の視点としてモデル化することで、スタンス分類におけるドメイン適応性能が向上するか？
• RQ2 二つの異なる言語的視点でドメイン不変特徴を学習することで、単一のグローバル特徴空間に比べ、ソースドメインとターゲットドメインの間の整合性が向上するか？
• RQ3 二重視点特徴の統合は、単一視点手法に比べて、全体の転送可能性とスタンス識別性能にどのように影響するか？
• RQ4 提案された二重視点適応により、ドメイン間のプロキシA距離はどの程度低減されるか？これはドメイン差の低減を示唆する。
• RQ5 DANフレームワークは、既存の最先端の単一視点ドメイン適応手法と効果的に統合可能であり、それらの性能を向上させることができるか？

主な発見

• D-DANNおよびD-WDGRL（それぞれDANNおよびWDGRLのDAN強化版）は、20の全適応タスクにおいて、元の手法に比べて一貫して低いプロキシA距離値を達成しており、ドメイン整合性の向上を示している。
• DANが学習した二重視点特徴は、単一視点手法に比べて、よりドメイン不変でスタンス識別に有効であることが、t-SNEプロットによる可視化で確認された。
• 定性的分析の結果、主観的視点と客観的視点は異なる言語的パターンを捉えており、それぞれが最終的な表現に独自の識別能力を寄与していることが示された。
• 二重視点特徴の最適な統合により、単一視点のみを用いる場合よりもより転送可能な表現が得られ、視点特化学習と統合の必要性が裏付けられた。
• 提案手法は、多様な適応タスクにおいてベースラインの単一視点適応手法の性能を向上させ、その汎用性と有効性を検証した。
• 結果から、細分化された二重視点による適応が、リソースが限られた環境におけるドメイン差を低減し、スタンス分類の一般化性能を向上させることを確認した。