[論文レビュー] Ranking and Selecting Multi-Hop Knowledge Paths to Better Predict Human Needs

Debjit Paul, Anette Frank|arXiv (Cornell University)|Apr 1, 2019

Topic Modeling参考文献 33被引用数 7

ひとこと要約

本稿では、物語文における感情の背後にある人間のニーズを予測するために、ConceptNetからマルチホップ知識パスをランク付け・選択する新しいニューラルモデルを提案する。ゲート付きアテンション機構を用いてこれらのパスを統合することで、MNPCSCSデータセットにおいて最先端の性能を達成し、特にレアラベルに対して精度が向上するとともに、入力トークンおよび知識パスの両方に対するアテンションマップにより解釈可能性が向上した。

ABSTRACT

To make machines better understand sentiments, research needs to move from polarity identification to understanding the reasons that underlie the expression of sentiment. Categorizing the goals or needs of humans is one way to explain the expression of sentiment in text. Humans are good at understanding situations described in natural language and can easily connect them to the character's psychological needs using commonsense knowledge. We present a novel method to extract, rank, filter and select multi-hop relation paths from a commonsense knowledge resource to interpret the expression of sentiment in terms of their underlying human needs. We efficiently integrate the acquired knowledge paths in a neural model that interfaces context representations with knowledge using a gated attention mechanism. We assess the model's performance on a recently published dataset for categorizing human needs. Selectively integrating knowledge paths boosts performance and establishes a new state-of-the-art. Our model offers interpretability through the learned attention map over commonsense knowledge paths. Human evaluation highlights the relevance of the encoded knowledge.

研究の動機と目的

• 物語文における感情表現の背後にある人間のニーズを特定することで、感情極性検出を超えた感情分析を向上させること。
• 表面的なテキストを超えた共通知識の推論を必要とする文脈からの暗黙の心理的ニーズを推論する課題に対処すること。
• 共通知識ベース（ConceptNet）からマルチホップ知識パスを抽出・ランク付け・選択的に統合する手法を開発し、物語における感情反応を説明すること。
• 入力トークンと選択された知識パスの両方に対するアテンションを可能にすることで、モデルの解釈可能性を向上させること。
• 人的アノテーションを通じて抽出された知識パスの関連性を評価し、性能向上への寄与を示すこと。

提案手法

• モデルは入力文脈をエンコードするためにELMo埋め込みを用い、選択されたConceptNetからのマルチホップ知識パスをゲート付きアテンション機構で統合する。
• マルチホップ関係パスは、グラフベースの特徴とアルゴリズム（特にパーソナライズドPageRank（PPR）と中心性測度）を組み合わせて抽出し、関連性をランク付けする。
• 関連性スコア関数は、パス特徴（例：パス長、ノード中心性、意味的類似度）を組み合わせ、候補パスのランク付けの前に選択する。
• モデルは2つのアテンション機構を採用する：1つは入力トークン（式6経由）に、もう1つは知識パス（式15経由）に適用され、予測に寄与する語と知識パスを解釈可能にする。
• 知識パスはそのアテンション重みに基づいてフィルタリング・選択され、文脈と人間のニーズの間で最も関連性の高い関連性のみが使用される。
• エンドツーエンドのアーキテクチャは、マルチラベル交差エントロピー損失を用いてエンドツーエンドで学習され、人間のニード分類の最適化が行われる。

実験結果

リサーチクエスチョン

• RQ1 ConceptNetからのマルチホップ知識パスは、物語文における人間のニーズ予測を改善できるか？
• RQ2 提案されたグラフベースのランク付け手法は、共通知識ベースから関連性の高いマルチホップパスを選択するために効果的か？
• RQ3 選択的に統合された知識パスを統合することで、文脈埋め込みのみを用いるベースラインと比較して性能向上が達成できるか？
• RQ4 知識パスに対するアテンションマップは、感情状態に関する人間が理解可能な推論をどれほど反映しているか？
• RQ5 抽出された知識パスは、物語における感情反応を説明するために人間の評価者によって関連性があると認識されるか？

主な発見

• ELMoと知識統合を用いた場合（BM+K）、MNPCSCSデータセットにおけるF1スコアが39.83という新たな最先端水準に達したのに対し、知識なしの場合（BM）は38.39であった。
• 知識統合により、すべての人間のニードカテゴリで性能向上が見られ、特に「誇り」「理想主義」「権力」などのレアラベルで最大の向上が観察された。
• 人的評価では、過半数の合意に基づき34％の抽出知識パスが専門家アノテーターによって関連性があると判断され、パスの関連性選択が効果的であることが示された。
• アテンション可視化により、モデルが正しい人間のニーズ（例：「休息」）にリンクするキーワード（例：「疲弊する」）と関連知識パス（例：「疲弊する → 疲労 → 休息の必要」）を正しく特定していることが確認された。
• 文脈の有無が予測精度を顕著に向上させる：例えば、文脈を含めると「競争」と「好奇心」が予測されるが、文脈なしでは同じ文に対して「好奇心」のみが予測される。
• モデルは強力な解釈可能性を示しており、入力トークンのアテンションと知識パスのアテンションマップの両方が、予測に使用された言語的および共通知識的ヒントを明確に強調している。