[論文レビュー] Compensating Supervision Incompleteness with Prior Knowledge in Semantic Image Interpretation

Ivan Donadello, Luciano Serafini|arXiv (Cornell University)|Oct 1, 2019

Multimodal Machine Learning Applications参考文献 31被引用数 4

ひとこと要約

本稿では、論理的背景知識を教師あり学習と統合することで、ゼロショット視覚的関係検出を改善するため、論理的テンソルネットワーク（LTNs）の使用を提案している。視覚的関係データセットにおいて、性能が顕著に向上し、不完全な教師信号を補うために論理的制約を活用することで、最新の手法を上回り、述語検出の100件あたりのリCALLが77.16%に達した。

ABSTRACT

Semantic Image Interpretation is the task of extracting a structured semantic description from images. This requires the detection of visual relationships: triples (subject,relation,object) describing a semantic relation between a subject and an object. A pure supervised approach to visual relationship detection requires a complete and balanced training set for all the possible combinations of (subject, relation, object). However, such training sets are not available and would require a prohibitive human effort. This implies the ability of predicting triples which do not appear in the training set. This problem is called zero-shot learning. State-of-the-art approaches to zero-shot learning exploit similarities among relationships in the training set or external linguistic knowledge. In this paper, we perform zero-shot learning by using Logic Tensor Networks, a novel Statistical Relational Learning framework that exploits both the similarities with other seen relationships and background knowledge, expressed with logical constraints between subjects, relations and objects. The experiments on the Visual Relationship Dataset show that the use of logical constraints outperforms the current methods. This implies that background knowledge can be used to alleviate the incompleteness of training sets.

研究の動機と目的

• 意味的画像解釈における不完全で偏った訓練データによるゼロショット視覚的関係検出の課題に対処すること。
• 純粋に教師あり学習または言語的知識に基づく手法の限界を克服するため、明示的な論理的背景知識を統合すること。
• データ駆動型学習と論理的推論を組み合わせることで、未観測の視覚的関係への一般化を向上させること。
• 論理的制約が、現実世界のデータセットにおけるアノテーションの不完全性の影響を効果的に軽減できることを示すこと。
• LTNフレームワーク内での新しい特徴量と新しい損失関数の有効性を評価すること。

提案手法

• 統計的関係学習フレームワークたる論理的テンソルネットワーク（LTNs）を用い、視覚的データと論理的制約を同時に学習する。
• 境界ボックス間の空間的関係を捉える幾何的特徴量を導入し、三つ組みの予測精度を向上させる。
• 一階論理の公理として背景知識を定式化し、例えば∀x,y(ride(x,y)→elephant(y)∨horse(y))や、xが騎手でない場合¬ride(x,y)といった形で表現する。
• 論理的公理の真偽値の調和平均に基づく新しい損失関数を用い、学習の安定化と制約遵守の向上を図る。
• 微分可能な論理フレームワークを用いて、論理式を通過する逆誤差伝搬を可能にするエンドツーエンドの学習を実施する。
• t-ノルムに基づく論理演算を用い、ニューラルネットワーク最適化プロセス内での論理的文の真偽値を計算する。

実験結果

リサーチクエスチョン

• RQ1 論理的背景知識は、視覚的関係検出における教師信号の不完全性を効果的に補うことができるか？
• RQ2 データのみまたは言語的知識のみに依存する手法と比較して、論理的制約の統合はゼロショット一般化をどのように向上させるか？
• RQ3 幾何的特徴量と新しい損失関数は、LTNにおける視覚的関係検出のパフォーマンスにどのような影響を与えるか？
• RQ4 論理的制約は、例えば「動物が人間を乗る」といった意味的に不整合な関係の誤検出をどの程度低減できるか？
• RQ5 提案手法は、さまざまな種類の視覚的関係に対して、どの程度スケーラブルかつ一般化可能か？

主な発見

• 論理的制約を組み込んだモデル（T_prior）は、述語検出における100件あたりのリCALLが77.16%に達し、以前の最先端手法（LKD）の74.65%を上回った。
• 幾何的特徴量の導入により、すべてのタスクで性能が向上し、ベースライン比で述語検出の100件あたりリCALLが2.45%向上した。
• 新しい調和平均に基づく損失関数は、制約遵守を向上させ、標準のt-ノルム損失関数と比較して述語検出で2.45%の向上をもたらした。
• 論理的制約は、動物が人間を乗るといった意味的に不整合な予測を効果的に抑制でき、ドメイン固有の制限をエンコードした。
• LTNフレームワークにより、探索空間がO(|P1|²|P2|)からO(|P1| + |P2|)に縮小され、スケーラビリティが著しく向上し、パラメータ数も削減された。
• アブレーションスタディの結果、新しい特徴量と新しい損失関数の両方が最適パフォーマンスを達成するために不可欠であり、それぞれが独立して性能向上に寄与していることが確認された。