[論文レビュー] What is not where: the challenge of integrating spatial representations into deep learning architectures

John D. Kelleher, Simon Dobnik|arXiv (Cornell University)|Jul 21, 2018

Multimodal Machine Learning Applications参考文献 38被引用数 8

ひとこと要約

この論文は、空間的前置詞の生成において優れたパフォーマンスを示す一方で、視覚的幾何構造に空間的言語を根拠づけていない現在のディープラーニング画像キャプションモデルを批判している。モデルは名詞の共起に基づいて前置詞を予測するための分布的言語モデルに依存しているが、明示的な幾何的推論を欠いているため、画像に「何」が存在するかは捉えられるが「どこ」に存在するかは捉えられていないキャプションが生成される。

ABSTRACT

This paper examines to what degree current deep learning architectures for image caption generation capture spatial language. On the basis of the evaluation of examples of generated captions from the literature we argue that systems capture what objects are in the image data but not where these objects are located: the captions generated by these systems are the output of a language model conditioned on the output of an object detector that cannot capture fine-grained location information. Although language models provide useful knowledge for image captions, we argue that deep learning image captioning architectures should also model geometric relations between objects.

研究の動機と目的

• 現在のディープラーニング画像キャプションアーキテクチャが視覚的認識において空間的言語を的確に根拠づけているかどうかを調査すること。
• エンコーダ・デコーダ型のCNN-RNNアーキテクチャが物体間の幾何的関係を捉える際に抱える制限を分析すること。
• 生成されたキャプション内の空間的前置詞が、実際の空間的推論に基づいているのか、統計的共起パターンに基づいているのかを評価すること。
• 視覚言語モデルにおける物体の識別と空間的位置の意味的根拠づけの間のギャップを特定すること。
• 今後の方向性として、幾何的表現をディープラーニングアーキテクチャに統合し、画像キャプションにおける空間的推論を向上させる方法を提案すること。

提案手法

• 最先端モデルが生成する画像キャプションの評価を通じて、空間的言語の正確性と根拠づけの質を検証すること。
• RNN言語モデルが訓練コーパスにおける名詞と前置詞の共起パターンに基づいて空間的前置詞を予測する役割を分析すること。
• CNNの物体検出出力を言語モデルの主な入力として扱うが、空間的局在化の正確性は限定的であること。
• 分布的意味論を用いて、幾何的認識なしに言語モデルが物体間の機能的関係を間接的に捉えていることの分析。
• 空間的記述における言語的パターンと画像内の実際の空間的配置を比較し、根拠づけの正確性を評価すること。
• ニューラルネットワークのモularity（モジュラリティ）の検討（例：Andreas et al. 2016; Johnson et al. 2017）を、幾何的推論を統合するための可能性のある道筋として探ること。

実験結果

リサーチクエスチョン

• RQ1 現在のディープラーニング画像キャプションモデルは、画像内の物体の空間的位置をどの程度的確に捉えているか？
• RQ2 言語モデルは、明示的な幾何的推論なしに空間的前置詞をどのように生成しているか？
• RQ3 細かな空間的局在化が欠落しているにもかかわらず、なぜモデルは説得力のある空間的記述を生成できるのか？
• RQ4 コーパス内での語の共起が、空間的言語生成の成功に果たす役割は何か？
• RQ5 既存のディープラーニングアーキテクチャに幾何的表現を効果的に統合できるか？

主な発見

• 現在の画像キャプションモデルは、統計的に妥当な空間的記述を生成するが、実際の空間的幾何構造には根拠づけられていない。
• モデルは、名詞の共起に基づいて前置詞を予測する分布的言語モデルに依存しており、視覚的空間的推論には依存していない。
• 『左に』や『後ろに』といった空間的前置詞は、物体の幾何的配置ではなく、統計的尤度に基づいて生成されている。
• CNN部は物体を検出できるが、正確な空間的関係を保持するには不十分である。
• 幾何的認識が欠落しているにもかかわらず、言語モデルの強い分布的事前知識のおかげで、空間的言語生成において高いパフォーマンスを達成している。
• 物体の識別根拠づけ（CNNによって捉えられる）と空間的位置根拠づけ（現在のアーキテクチャでは捉えられていない）の間に、根本的な乖離が存在する。