[論文レビュー] Hybrid Generative/Discriminative Learning for Automatic Image Annotation

Shuang Yang, Jiang Bian+1 more|arXiv (Cornell University)|Mar 15, 2012

Image Retrieval and Classification Techniques参考文献 19被引用数 5

ひとこと要約

本稿では、入力と出力の曖昧性を捉えつつ予測スパarsityを強制する指数型多項分布混合（EMM）モデルを用いた、自動画像アノテーションのためのハイブリッド生成的・判別的学習フレームワークを提案する。変分推論とペairワイズ順序回帰を組み合わせることで、アノテーションの正確性とタグのスケーラビリティが向上し、ベンチマークデータセットにおいて既存手法を上回る性能を発揮する。

ABSTRACT

Automatic image annotation (AIA) raises tremendous challenges to machine learning as it requires modeling of data that are both ambiguous in input and output, e.g., images containing multiple objects and labeled with multiple semantic tags. Even more challenging is that the number of candidate tags is usually huge (as large as the vocabulary size) yet each image is only related to a few of them. This paper presents a hybrid generative-discriminative classifier to simultaneously address the extreme data-ambiguity and overfitting-vulnerability issues in tasks such as AIA. Particularly: (1) an Exponential-Multinomial Mixture (EMM) model is established to capture both the input and output ambiguity and in the meanwhile to encourage prediction sparsity; and (2) the prediction ability of the EMM model is explicitly maximized through discriminative learning that integrates variational inference of graphical models and the pairwise formulation of ordinal regression. Experiments show that our approach achieves both superior annotation performance and better tag scalability.

研究の動機と目的

• 自動画像アノテーション（AIA）におけるデータの曖昧性と過学習の二重の課題に対処すること。ここでの背景は、画像が曖昧であり、1枚の画像に対して僅か数個のタグしか適用されない点にある。
• 確率的混合モデルを用いて、入力（画像特徴）と出力（意味的タグ）の両方の曖昧性を同時にモデル化すること。
• EMM構造を活用することで予測スパarsityを強制し、1枚の画像あたり少数の関連タグに焦点を当てる。
• 変分推論とペairワイズ順序回帰を用いて生成的モデリングと判別的学習を統合することで、一般化性能と予測性能を向上させること。
• 現実世界のAIAシステムで一般的な大規模タグ語彙へのスケーラビリティを向上させること。

提案手法

• 画像特徴と複数の意味的タグの同時分布を表現するため、指数型多項分布混合（EMM）モデルを定式化し、入力と出力の両方の曖昧性を捉える。
• 潜在変数を導入して画像-タグ関係の混合をモデル化し、1枚の画像あたり少数の有効タグに偏るスパース予測を可能にする。
• 潜在変数の事後分布が計算不能であるため、変分推論を適用して近似し、効率的な学習と推論を実現する。
• ペアワイズ順序回帰の定式化を用いて予測尤度を最大化することで、判別的学習を統合し、分類性能を向上させる。
• 目的関数は、生成的モデリング（EMM尤度）と判別的最適化（ペアワイズランク損失）を組み合わせており、両者の目的をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド生成的・判別的モデルは、自動画像アノテーションにおける入力と出力の両方の曒意を効果的にモデル化できるか？
• RQ2 分類精度を損なわず、マルチラベル画像タギングにおける予測スパarsityをどのように強制できるか？
• RQ3 変分推論とペアワイズ順序回帰の統合は、純粋に生成的または判別的手法よりもアノテーション性能を向上させられるか？
• RQ4 提案されたEMMベースのフレームワークは、現実世界の画像データセットで一般的な大規模タグ語彙に対して効果的にスケーリングできるか？
• RQ5 アノテーションの正確性と過学習へのロバストネスの観点から、ハイブリッドアプローチは最先端手法と比較して優れているか？

主な発見

• 標準的なAIAベンチマークにおいて、ベースラインの生成的・判別的モデルと比較して、提案手法が優れたアノテーション性能を達成した。
• EMMモデルは入力と出力の曒意を効果的に捉えており、ノイズが多いまたは複雑な画像の状況下でもよりロバストな予測を可能にした。
• 予測スパarsityはEMM構造によって自然に誘導され、1枚の画像あたりの不適切なタグ数が削減された。
• 変分推論とペアワイズ順序回帰の統合により、特にデータが少ない状況下で判別的性能が向上した。
• 大規模なタグセットに対してもスケーラビリティに優れ、語彙サイズが増大しても高い性能を維持した。