[論文レビュー] Learning Household Task Knowledge from WikiHow Descriptions

Yilun Zhou, Julie Shah+1 more|arXiv (Cornell University)|Sep 13, 2019

Topic Modeling参考文献 22被引用数 16

ひとこと要約

本論文では、WikiHowの記事を用いて、家庭の作業とその手順のための共同埋め込みを学習する深層学習モデルを提案する。このモデルにより、手順の関連性と順序の予測が可能となり、手順説明のLSTM符号化を活用することで、関連性予測の正確性が0.911に達し、順序予測の正確性が0.752に達する。これは、非構造的テキストから日常的で手続き的知識を獲得する可能性を示している。

ABSTRACT

Commonsense procedural knowledge is important for AI agents and robots that operate in a human environment. While previous attempts at constructing procedural knowledge are mostly rule- and template-based, recent advances in deep learning provide the possibility of acquiring such knowledge directly from natural language sources. As a first step in this direction, we propose a model to learn embeddings for tasks, as well as the individual steps that need to be taken to solve them, based on WikiHow articles. We learn these embeddings such that they are predictive of both step relevance and step ordering. We also experiment with the use of integer programming for inferring consistent global step orderings from noisy pairwise predictions.

研究の動機と目的

• 非構造的自然言語テキストから日常的で手続き的知識を獲得するための手法を開発すること。
• 作業と手順の埋め込みを同時に学習し、手順の関連性と正しい順序を予測できるようにすること。
• モデルの性能を、2つの主要なタスク、すなわち手順の関連性予測と手順の順序予測の両面で評価すること。
• 整数計画法が、曖昧なペアを特定することで、全体的な手順の順序付けを改善できるかどうかを調査すること。
• 学習された埋め込みの意味的構造を分析し、解釈可能性とクラスタリングの観点から検討すること。

提案手法

• モデルは、作業のタイトルと手順の説明を、密なベクトル埋め込みに変換するためのシアン型LSTMアーキテクチャを用いる。
• 手順の説明は、文脈的な意味を捉えるために双方向LSTMで符号化される。
• モデルは、作業と手順の埋め込み間の類似度スコアを用いて、手順の関連性を予測する。
• 2つの手順間の順序を予測するには、ペアワイズ順序付け損失が用いられ、正しい順序が高くランク付けされるように学習される。
• 訓練後、整数計画法を用いて、ノイズの多いペアワイズ予測から一貫性のある全体的な順序を推定する。
• t-SNEを用いて、次元削減された2次元空間における作業埋め込みの意味的クラスタリングを可視化する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、非構造的なWikiHowの記事から手続き的知識を効果的に抽出できるか？
• RQ2 学習された埋め込みは、特定の家庭の作業に属する手順かどうかをどれほど正確に予測できるか？
• RQ3 モデルは、作業内での非連続な2つの手順の正しい順序を、どの程度正確に予測できるか？
• RQ4 整数計画法を用いることで、曖昧な手順ペアを特定し、全体的な手順の順序付けを改善できるか？
• RQ5 学習された作業埋め込みにはどのような意味的構造が現れ、意味的に整合性のあるクラスタを反映しているか？

主な発見

• LSTMで符号化された手順説明を用いた完全なモデルは、手順の関連性予測の正確性が0.911に達し、ベースラインを上回った。
• モデルは手順の順序予測の正確性が0.752に達し、ノイズの影響にもかかわらず、優れた性能を示した。
• 手順説明にbag-of-words表現を用いた場合でも、説明なしの状態より性能が向上したが、LSTM符号化ほどではなかった。
• モデルは過学習の兆候を示しており、訓練精度は高いまま維持されていたが、検証精度は数千イテレーション後に頭期した。
• 整数計画法による推論は、ランダムな曖昧な割り当てに比べて誤差低減を改善したが、改善は限定的であり、学習信号の一貫性の制限を示唆した。
• t-SNEの可視化から、関連する家庭の作業の意味的で意味のあるクラスタが明確に現れた。これは、埋め込みが一貫した概念的グループを捉えていることを示している。