[論文レビュー] Are Elephants Bigger than Butterflies? Reasoning about Sizes of Objects

Hessam Bagherinezhad, Hannaneh Hajishirzi+2 more|arXiv (Cornell University)|Feb 2, 2016

Multimodal Machine Learning Applications参考文献 33被引用数 19

ひとこと要約

本論文では、ウェブ規模のテキストおよび視覚データを活用して相対的物体サイズを推定する自己教師あり手法を提案する。サイズグラフを用い、対数正規分布をモデル化し、推移的推論を適用することで精度を向上させる。この手法は、サイズ比較タスクで83.5%の精度を達成し、テキストのみ、または視覚のみのベースラインを著しく上回り、物理的サイズに関する常識的推論においてマルチモーダル信号の相補的価値を示している。

ABSTRACT

Human vision greatly benefits from the information about sizes of objects. The role of size in several visual reasoning tasks has been thoroughly explored in human perception and cognition. However, the impact of the information about sizes of objects is yet to be determined in AI. We postulate that this is mainly attributed to the lack of a comprehensive repository of size information. In this paper, we introduce a method to automatically infer object sizes, leveraging visual and textual information from web. By maximizing the joint likelihood of textual and visual observations, our method learns reliable relative size estimates, with no explicit human supervision. We introduce the relative size dataset and show that our method outperforms competitive textual and visual baselines in reasoning about size comparisons.

研究の動機と目的

• AIシステムにおける物体サイズ情報の包括的でスケーラブルなリソースの不足に取り組む。
• 明示的な人間の教師なしで相対的および絶対的サイズ推定を可能にする手法を開発する。
• マルチモーダルデータを用いて、物体ペア間のサイズ関係の推移的性質を活用する。
• 知識ベースにサイズ知識を統合することで、視覚および自然言語処理における常識的推論を向上させる。
• テキストと視覚信号を統合することで、単一モダリティよりも正確なサイズ推定が得られることを示す。

提案手法

• ノードが物体サイズの対数正規分布を表し、エッジが画像内の共起的物体検出から抽出された相対的サイズ関係をエンコードするサイズグラフを構築する。
• テキストおよび視覚的観測の両方の尤度最適化としてサイズ推定を定式化し、ウェブデータからのノイズの多い信号を統合的にモデル化する。
• 視覚データは弱教師あり物体検出器および単一画像深度推定器を用いて処理され、バウンディングボックス比および粗い深度推定から相対的サイズを推定する。
• テキストデータは検索クエリテンプレートを用いてマイニングされ、'XはYより大きい'のようなサイズ関連表現を抽出し、モデルの学習に使用する。
• モデルは推移的推論を用いる：A > B かつ B > C ならば A > C である。これにより、直接共起しない物体ペアに対しても推論が可能になる。
• 一部の物体の真のサイズ値を制約として組み込むことで、尤度最大化により不確実なノードの推定を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ウェブ規模のテキストおよび視覚データのみを用いて、自己教師あり手法が相対的物体サイズを効果的に推定できるか？
• RQ2 サイズ推定において、テキスト的信号と視覚的信号の信頼性および情報量はどのように比較できるか？
• RQ3 推移的推論は、頻繁に共起しない物体ペアのサイズ推論をどの程度向上できるか？
• RQ4 両モダリティの統合は、単一モダリティのベースラインを上回るサイズ比較タスクの性能を達成できるか？
• RQ5 一部の真のサイズ値の組み込みが、モデル全体の精度にどのように影響するか？

主な発見

• 提案手法は、相対的サイズ比較タスクで83.5%の精度を達成し、競合するNLPベースライン（63.4%）および視覚のみのベースラインを著しく上回っている。
• モデルは、テキストと視覚データを統合することで、単一モダリティよりも高い精度を達成することを示しており、両者の相補的性を確認している。
• モデルの精度は、すべての宣言率において一貫して高い水準を維持しているが、言語のみのベースラインは高信頼度レベルで精度が低下しており、校正が悪いことが示唆されている。
• キリン、オートバイ、家といった物体はテキストデータによりより良い推定が可能であり、スイカ、リンゴ、ラクダは視覚データによりより良い推定が可能である。これは、モダリティに特化した強みを示している。
• 一部の物体の真のサイズ値を組み込むことで、全体の精度が向上し、信頼性の高いサイズ情報が不確実なノードに伝搬可能であることを示している。
• モデルは、直感的ではないサイズ比較を合理的な自信で予測する。例えば、P(window > motorbike) = 0.3 および P(shoe > face) = 0.49 であり、これは統計的推論の強固さを示している。