[論文レビュー] On Incorporating Semantic Prior Knowlegde in Deep Learning Through Embedding-Space Constraints

Damien Teney, Ehsan Abbasnejad+1 more|arXiv (Cornell University)|Sep 25, 2019

Multimodal Machine Learning Applications参考文献 33被引用数 7

ひとこと要約

本稿では、柔らかく正則化するのではなく、埋め込み空間に厳密な制約を課することによって、質問間の意味的関係などの事前知識を深層学習モデルに埋め込む手法を提案する。視覚的質問応答（VQA）において、このアプローチは、論理的・同値関係を保持することで、ラベル付きデータが限られた状況でも精度と頑健性を向上させる。

ABSTRACT

The knowledge that humans hold about a problem often extends far beyond a set of training data and output labels. While the success of deep learning mostly relies on supervised training, important properties cannot be inferred efficiently from end-to-end annotations alone, for example causal relations or domain-specific invariances. We present a general technique to supplement supervised training with prior knowledge expressed as relations between training instances. We illustrate the method on the task of visual question answering to exploit various auxiliary annotations, including relations of equivalence and of logical entailment between questions. Existing methods to use these annotations, including auxiliary losses and data augmentation, cannot guarantee the strict inclusion of these relations into the model since they require a careful balancing against the end-to-end objective. Our method uses these relations to shape the embedding space of the model, and treats them as strict constraints on its learned representations. In the context of VQA, this approach brings significant improvements in accuracy and robustness, in particular over the common practice of incorporating the constraints as a soft regularizer. We also show that incorporating this type of prior knowledge with our method brings consistent improvements, independently from the amount of supervised data used. It demonstrates the value of an additional training signal that is otherwise difficult to extract from end-to-end annotations alone.

研究の動機と目的

• 因果関係や論理的含意といった、暗黙的でドメイン特異的な知識を捕捉できない、教師あり深層学習の限界を解消すること。
• 事前知識を柔らかく正則化するのではなく、埋め込み空間に厳密な制約として強制する技術を開発すること。
• 質問の同値性や含意といった補助アノテーションを統合することで、視覚的質問応答（VQA）におけるモデルの一般化性能と頑健性を向上させること。
• 教師ありデータ量に依存せずに、事前知識を効果的に活用できることを示すこと。
• VQAを越えて、さまざまなタスクに一般化可能な、意味的知識を深層学習に統合するフレームワークを提供すること。

提案手法

• 事前知識を訓練インスタンス間の関係（例：含意、同値性）として定式化し、表現空間に幾何的制約として埋め込む。
• 相対的な距離や角度が指定された意味的関係を反映するように、損失関数を変更してこれらの関係を強制する。
• 最適化中にこれらの制約を厳密な要件として扱い、モデルの表現が与えられた関係を厳密に保持することを保証する。
• 主な教師あり損失とバランスを手動で調整する必要なく、これらの制約を学習目的に統合する。
• VQAに適用し、含意や同値性を持つ質問ペアなどの補助アノテーションを用いて埋め込み空間を形状づける。
• モデルは主タスクで正確な表現と、提供された意味的関係に忠実な表現の両方を学習する。

実験結果

リサーチクエスチョン

• RQ1 標準的な監視を超えて、意味的事前知識を深層学習モデルに効果的に埋め込むことができるか？
• RQ2 埋め込み空間に意味的関係を硬い制約として強制することで、VQAにおけるモデル性能にどのような影響を与えるか？
• RQ3 このような制約を組み込むことで、特にラベル付きデータが限られた状況でも、頑健性と一般化性能が向上するか？
• RQ4 意味的関係の保持という観点から、柔らかく正則化する手法やデータ拡張と比較して、この手法はどのように異なるか？
• RQ5 この手法は、さまざまな種類の事前知識やタスクに一般化して適用可能か？

主な発見

• 意味的関係を埋め込み空間に硬い制約として強制することで、VQAの精度が顕著に向上する。
• 特に分布外や敵対的設定において、柔らかく正則化する手法よりもモデルの頑健性が向上する。
• 異なるデータ環境においても一貫した性能向上を示し、教師ありデータが限られた場合でも大きな利点を示す。
• 意味的関係への厳密な適合を保証できない既存の補助損失やデータ拡張手法よりも、本手法が優れている。
• 埋め込み空間の制約により、質問間の論理的含意や同値性が効果的に保持され、より信頼性が高く解釈可能な表現が得られる。
• 明示的な意味的事前知識が、エンドツーエンドの監視信号の補完的シグナルとしての価値を持つことが示された。