[論文レビュー] From visual words to a visual grammar: using language modelling for image classification

Antonio Foncubierta–Rodríguez, Henning Müller+1 more|arXiv (Cornell University)|Mar 16, 2017

Advanced Image and Video Retrieval Techniques参考文献 22被引用数 4

ひとこと要約

本稿では、Bag-of-Visual-Words (BoVW) フレームワークを用いた画像分類の精度を向上させるために、意味の有無、類義性、多義性といった言語的概念を視覚的単語に適応する視覚的文法モデルを提案する。言語モデリングの原則を応用して視覚的単語をフィルタリングおよび再重み付けすることで、記述子のサイズを削減しながら分類精度を向上させ、ベースラインのBoVWを上回り、コサイン類似度を組み合わせた場合、記述子長さの一部にとどまる範囲でフィッシャー特徴量と同等の結果を達成する。

ABSTRACT

The Bag--of--Visual--Words (BoVW) is a visual description technique that aims at shortening the semantic gap by partitioning a low--level feature space into regions of the feature space that potentially correspond to visual concepts and by giving more value to this space. In this paper we present a conceptual analysis of three major properties of language grammar and how they can be adapted to the computer vision and image understanding domain based on the bag of visual words paradigm. Evaluation of the visual grammar shows that a positive impact on classification accuracy and/or descriptor size is obtained when the technique are applied when the proposed techniques are applied.

研究の動機と目的

• Bag-of-Visual-Words (BoVW) モデルの画像分類における限界、特に語彙サイズへの感受性と意味的重み付けの欠如を解決すること。
• 意味の有無、類義性、多義性といった核心的な言語的文法的性質が、視覚ドメインにどのように適応可能かを検討すること。
• 記述子次元を増加させることなく、画像理解を向上させる汎用的で言語モデリングに基づくフレームワークを開発すること。
• 標準ベンチマーク上での視覚的文法変換が分類精度と記述子サイズに与える影響を評価すること。

提案手法

• 視覚的文法モデルは、標準的なBoVWに3つの変換を適用する：(1) 低有用な視覚的単語を除去する意味の有無フィルタリング、(2) 意味的に類似した視覚的単語をグループ化する類義性の検出、(3) あいまいさを特定する多義性の定量化。
• 意味の有無は、しきい値に基づく削除戦略を用いて定量化され、語彙サイズを削減しながらも識別力は保持される。
• 類義性は、視覚的単語ペア間の関係を定義する基準の集合によってモデル化され、特徴の統合やマージが可能になる。
• 多義性は、あいまいさの原因として特定され、測定され、あいまいな文脈におけるより堅牢な表現が可能になる。
• コサイン類似度測定は、3つの変換を統合する形で拡張され、視覚空間における類似度計算の向上が可能になる。
• 本手法は、PASCAL VOC 2007 および ImageCLEF 2013 データセット上でSIFTベースのBoVW表現を用い、1-NN分類器を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 意味の有無、類義性、多義性といった言語的概念が、画像分類における視覚的表現の向上に効果的に適応可能かどうか。
• RQ2 これらの文法にインspiredされた変換が、分類精度を損なわせることなく、記述子サイズをどの程度まで削減できるか。
• RQ3 記述子長さと精度の両面から、フィッシャー特徴量といった既存手法と比較して、提案された視覚的文法モデルはどの程度優れているか。
• RQ4 意味の有無フィルタリングを適用する際の語彙削減と性能低下の最適なバランスは何か。
• RQ5 視覚的文法変換をコサイン類似度と組み合わせることで、ベースラインのBoVWよりも高い性能が得られるか。

主な発見

• コサイン類似度と視覚的文法変換を組み合わせた場合、語彙サイズをわずかに削減しつつも、分類精度が安定的かつ統計的に有意に向上した（p < 0.05）。
• 類似度測定方式に関わらず、語彙サイズを中程度から大幅に削減しても、ベースラインのBoVWと同等の分類精度が維持された。
• 初期サイズの10–20%を下回る極端な語彙削減は、顕著な精度低下を引き起こし、削除の性能の閾値を示している。
• 視覚的文法モデルは、フィッシャー特徴量と同等の高い精度を達成したが、特にコサイン類似度と組み合わせた場合、記述子サイズが著しく小さくなった。
• 本手法は、分類性能を維持または向上させつつ記述子次元を削減するのに成功し、コン act 視覚的表現の有効性を示した。
• このフレームワークは、異種の特徴間の関係を特定可能であり、言語的インスピレーションに基づくフィルタリングとグループ化によってBoVWの次元削減を原理的かつ体系的に行う手段を提供する。