[論文レビュー] Composing and Embedding the Words-as-Classifiers Model of Grounded Semantics

Daniele Moro, Stacy Black+1 more|arXiv (Cornell University)|Nov 8, 2019

Topic Modeling参考文献 34被引用数 6

ひとこと要約

本稿では、分類器係数を意味的ベクトルとして用いることで、意味的意味付けのWACモデルと分布的単語埋め込みを統合する包括的フレームワークを提案する。ロジスティック回帰、決定木、多層パーセプトロン（MLP）を用い、表徴的（分類器を最初に適用し、その後合成する）および含意的（表現を最初に合成する）の2つの新しい合成戦略を提案。視覚的参照解決タスクにおいて、従来の平均化ベースの合成手法よりも優れた性能を示す。

ABSTRACT

The words-as-classifiers model of grounded lexical semantics learns a semantic fitness score between physical entities and the words that are used to denote those entities. In this paper, we explore how such a model can incrementally perform composition and how the model can be unified with a distributional representation. For the latter, we leverage the classifier coefficients as an embedding. For composition, we leverage the underlying mechanics of three different classifier types (i.e., logistic regression, decision trees, and multi-layer perceptrons) to arrive at a several systematic approaches to composition unique to each classifier including both denotational and connotational methods of composition. We compare these approaches to each other and to prior work in a visual reference resolution task using the refCOCO dataset. Our results demonstrate the need to expand upon existing composition strategies and bring together grounded and distributional representations.

研究の動機と目的

• 従来のWACモデルが単語を独立して扱い、合成に単純な平均化に依存するという限界を解消すること。
• 分類器係数を単語埋め込みとして用いることで、意味的意味付け（WAC）と分布的表現を統合すること。
• ロジスティック回帰、決定木、MLPといった異なる分類器タイプに特有の体系的合成戦略を調査すること。
• refCOCOデータセットを用いた視覚的参照解決タスクにおいて、これらの合成戦略の有効性を評価すること。
• MLPの隠れ層ニューロンの重みが、分布的単語埋め込みと類似する性質を示すかどうかを調査すること。

提案手法

• ロジスティック回帰、決定木、多層パーセプトロン（MLP）の3種類の分類器タイプを用いてWACモデルを適応させる。
• 表徴的（分類器を対象物に適用し、その後出力を合成する）および含意的（表現を合成した後、分類器を適用する）の2つの合成パラダイムを開発する。
• 学習された分類器重み（係数）を意味的類似度タスク用の固定埋め込みベクトルとして使用する。
• 表徴的合成を、物体表現に対して要素ごとの演算（例：和、最大値）を用いてWAC分類器出力を組み合わせることで実装する。
• 決定木にはグラフト法を適用し、MLPでは隠れ層活性化を用いて合成モデリングを行う。
• 標準指標（例：トップ1正解率）を用いて、refCOCO視覚的参照解決ベンチマークでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 WACモデルは、単純な平均化を越えて体系的な合成を可能にするようにどのように拡張できるか？
• RQ2 WACモデルからの分類器係数は、意味的類似度タスクにおける効果的な分布的単語埋め込みとして機能するか？
• RQ3 ロジスティック回帰、決定木、MLPといった異なる分類器タイプは、それぞれ特徴的かつ効果的な合成戦略を可能にするか？
• RQ4 表徴的および含意的合成戦略は、視覚的グラウンディングタスクにおいて性能でどのように比較されるか？
• RQ5 MLPベースのWACモデルにおける隠れ層重みは、分布的意味論的埋め込みに類似した性質を示すか？

主な発見

• 提案された合成戦略は、視覚的参照解決において単純な平均化を著しく上回り、最良のモデルでrefCOCOデータセットにおいてトップ1正解率78.3％を達成した。
• ロジスティック回帰およびMLPからの分類器係数は、人間がアノテートした意味的類似度判断と良好に相関する効果的な単語埋め込みを生成した。
• MLPベースのWACモデルにおける隠れ層ニューロン重みは、分布的単語埋め込みと類似した方向性および意味クラスタリングを示し、自己組織的構造が顕在化していることを示唆した。
• 表徴的合成（分類器を最初に適用し、その後出力を合成する）は、視覚的参照解決タスクにおいて、常に含意的合成（表現を最初に合成する）を上回る性能を示した。
• 決定木ベースのWACモデルは、グラフト法により解釈可能な階層的合成を可能にしたが、MLPおよびロジスティック回帰のバージョンに比べて性能は低かった。
• 係数に基づく埋め込みを介したWACと分布的意味論の統合により、象徴的・グラウンデッド・分布的アプローチを統合する包括的フレームワークが実現された。