[論文レビュー] Automatic Concept Discovery from Parallel Text and Visual Corpora

Chen Sun, Chuang Gan+1 more|arXiv (Cornell University)|Sep 24, 2015

Advanced Image and Video Retrieval Techniques参考文献 39被引用数 15

ひとこと要約

本稿では、視覚的判別力に基づいて用語をフィルタリングし、視覚的および意味的類似度を用いてクラスタリングすることで、並列なテキストおよび画像コーパスから判別性が高くコンパクトな視覚的概念を自動的に同定する、視覚的概念発見（VCD）フレームワークを提案する。この手法は、画像文間検索および画像タグ付けのヒューマン評価において、手動で整備された概念セット（例：ImageNet-1k）を上回り、最先端の性能を達成する。

ABSTRACT

Humans connect language and vision to perceive the world. How to build a similar connection for computers? One possible way is via visual concepts, which are text terms that relate to visually discriminative entities. We propose an automatic visual concept discovery algorithm using parallel text and visual corpora; it filters text terms based on the visual discriminative power of the associated images, and groups them into concepts using visual and semantic similarities. We illustrate the applications of the discovered concepts using bidirectional image and sentence retrieval task and image tagging task, and show that the discovered concepts not only outperform several large sets of manually selected concepts significantly, but also achieves the state-of-the-art performance in the retrieval task.

研究の動機と目的

• 手動で選択された視覚的概念の限界、すなわち視覚的世界の複雑さを十分に捉えず、ドメインへの適応性に欠けることに対処する。
• 並列なテキストおよび画像コーパスから、判別性とコンパクト性を両立する視覚的概念を自動的に発見するフレームワークを開発する。
• 画像文間検索およびヒューマン評価による自由形式の画像タグ付けを用いて、発見された概念の品質を評価する。
• 自動的に発見された概念が、ImageNet-1k などの大規模な手動で整備された概念セットを上回り、より一般化しやすいことを示す。

提案手法

• 並列な画像-テキストコーパス内のテキスト記述から、ユニグラムおよび従属ビグラムを抽出する。
• 関連画像における交差検証済み平均適合度（AP）を用いて候補用語をフィルタリングし、視覚的に判別性の高い用語のみを保持する。
• 画像表現（例：CNN特徴）からの深層特徴を用いて、用語間の視覚的類似度を計算する。
• 単語埋め込み（例：Word2Vec や GloVe）を用いて、用語間の意味的類似度を計算し、言語的関係を捉える。
• 視覚的類似度スコアと意味的類似度スコアの重み付き組み合わせを用いて、フィルタリング済み用語を視覚的概念にクラスタリングする。
• 画像データ上で発見された概念の分類器を学習し、検索やタグ付けなどの下流タスクに活用する。

実験結果

リサーチクエスチョン

• RQ1 並列なテキストおよび画像コーパスから視覚的概念を自動的に発見することで、人間の視覚的実体認識をよりよく反映できるか？
• RQ2 視覚的類似度と意味的類似度を統合的に用いることで、発見された視覚的概念の質とコンパクト性はどのように向上するか？
• RQ3 自動的に発見された視覚的概念は、画像文間検索およびタグ付けタスクにおいて、ImageNet-1k などの手動で整備された概念セットを上回るか？
• RQ4 視覚的類似度の重み付けと概念数の影響は、検索性能にどのように現れるか？
• RQ5 発見された概念は、COCO などの未学習データセットに対してもどれほど一般化できるか？

主な発見

• 画像文間検索タスクにおいて、発見された概念は、リCALL@5が64.1%を達成し、多数の手動で選択された大規模な概念セットを上回った。
• 画像タグ付けのヒューマン評価において、64.1%の画像で発見された概念がImageNet-1kよりも好まれ、22.9%の画像で劣ると判断され、12.9%は同等と評価された。
• 概念発見フレームワークの性能は、視覚的類似度の重みλおよび総概念数に敏感であり、中程度の概念数で最適な性能が達成された。
• フレームワークは、人間が用いる命名パターンをうまく再現し、細分化された犬の品種など過度に具体的な概念を避けるとともに、一般的な視覚的実体のカバー範囲を拡大した。
• Flickr 8k で学習した概念は COCO へもうまく一般化され、データセット間でのロバストネスと転送性を示した。
• この手法は、共同埋め込み学習に依存しないにもかかわらず、画像文間検索において最先端の性能を達成した。