[論文レビュー] Solving Verbal Comprehension Questions in IQ Test by Knowledge-Powered Word Embedding

Huazheng Wang, Fei Tian+3 more|arXiv (Cornell University)|May 29, 2015

Topic Modeling参考文献 38被引用数 20

ひとこと要約

本稿では、語の意味の多義性と意味関係（例：類義語、対義語）を同時にモデル化することで、IQテストの語彙的理解問題を解く知識駆動型単語埋め込みフレームワークを提案する。辞書からの関係的知識を用いて訓練された多義語埋め込みを活用し、タイプに特化したソルバーを適用することで、ベースラインモデルおよび人間の作業者と比較して平均的に最先端の性能を達成した。

ABSTRACT

Intelligence Quotient (IQ) Test is a set of standardized questions designed to evaluate human intelligence. Verbal comprehension questions appear very frequently in IQ tests, which measure human's verbal ability including the understanding of the words with multiple senses, the synonyms and antonyms, and the analogies among words. In this work, we explore whether such tests can be solved automatically by artificial intelligence technologies, especially the deep learning technologies that are recently developed and successfully applied in a number of fields. However, we found that the task was quite challenging, and simply applying existing technologies (e.g., word embedding) could not achieve a good performance, mainly due to the multiple senses of words and the complex relations among words. To tackle these challenges, we propose a novel framework consisting of three components. First, we build a classifier to recognize the specific type of a verbal question (e.g., analogy, classification, synonym, or antonym). Second, we obtain distributed representations of words and relations by leveraging a novel word embedding method that considers the multi-sense nature of words and the relational knowledge among words (or their senses) contained in dictionaries. Third, for each type of questions, we propose a specific solver based on the obtained distributed word representations and relation representations. Experimental results have shown that the proposed framework can not only outperform existing methods for solving verbal comprehension questions but also exceed the average performance of the Amazon Mechanical Turk workers involved in the study. The results indicate that with appropriate uses of the deep learning technologies we might be a further step closer to the human intelligence.

研究の動機と目的

• 深層学習が、多義語の理解と複雑な語の関係を必要とするIQテストの語彙的理解問題を自動的に解くことができるかを調査すること。
• 標準的な単語埋め込みが、特にレアな意味を捉えるのには限界があることに対処すること。
• 質問タイプの分類、語の意味ペアと関係の共同表現学習、タイプに特化したソルバーの適用を統合するフレームワークを構築すること。
• 既存の単語埋め込み手法および人間のベースライン性能を超える語彙的IQ問題の性能向上を図ること。
• 外部の語彙的知識（例：辞書）を組み込むことで、レアで曖昧な語の意味の表現学習が向上することを示すこと。

提案手法

• 質問のカテゴリ（例：類推、類義語、対義語）を特定するための質問タイプ分類器を訓練し、タイプに特化した解決戦略を可能にする。
• 文脈ウィンドウをクラスタリングし、辞書に記載された意味例と関連付けることで、各語の意味ペアに対して異なるベクトルを学習する新しい単語埋め込みモデルを提案する。
• 関係的知識（例：類義語、対義語）を埋め込みの目的関数に組み込み、語の意味と関係の表現を同時に学習可能にする。
• 階層的ソフトマックスを用いたスキップグラムに類似した目的関数を採用するが、複数の意味と関係的制約を扱えるように拡張する。
• 各質問タイプごとに専用のソルバーを設計する（例：類推ソルバーは、質問と候補解答の語の意味ペア間のベクトル距離を最小化する）。
• WordRepなどの外部リソースを活用して関係的知識を取得し、未教師付きクラスタリングを用いて文脈における語の意味の曖昧性を解消する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、多義語の理解と複雑な意味的関係を必要とするIQテストの語彙的理解問題を効果的に解くことができるか？
• RQ2 語彙的リソースからの関係的知識を組み込むことで、特にレアな語の意味に対して単語埋め込みの質が向上するか？
• RQ3 質問分類、多義語表現学習、タイプに特化したソルバーを統合する統一フレームワークは、既存手法および人間の性能を上回ることができるか？
• RQ4 語の意味と関係の表現を共同で学習することで、類推、類義語、対義語のタスクにおける性能がどの程度向上するか？
• RQ5 本手法は、大規模なラベル付きデータを必要とせずに、さまざまなタイプの語彙的IQ問題に一般化可能か？

主な発見

• 提案されたRKモデルは、テストセットにおいて全体で50.86%の正答率を達成し、人間ベースライン（46.23%）を顕著に上回った。
• RKは人間ベースライン（HP）に対して4.63パーセンテージポイントの正答率向上を達成し、優れた性能を示した。
• 類義語問題では60.78%、分類タスクでは52.83%の正答率を達成し、HPおよび他のベースラインと比較して顕著な向上を示した。
• 関係的知識の統合により、単一意味または多義語モデルのみのものよりも性能が向上した。これは、関係的インダクティブバイアスが、まれな意味の表現学習を強化することを示している。
• GloVe、SG-1/SG-2、およびMS-1/MS-2/MS-3のすべての質問タイプで本手法が優れており、類義語および分類タスクで統計的に有意な向上を示した。
• 質問分類器は93.1%の正答率を達成し、効果的に質問を適切なソルバーにルーティングできた。