[論文レビュー] Modeling Images using Transformed Indian Buffet Processes

Ke Zhai, Yuening Hu+2 more|arXiv (Cornell University)|Jun 27, 2012

Advanced Image and Video Retrieval Techniques参考文献 16被引用数 8

ひとこと要約

本稿では、自然画像データに適した尤度モデルを統合し、相関に基づく効率的な推論手法を導入することで、実画像に適応した変換されたインド・バンケット過程（tIBP）フレームワークを提案する。この手法により、空間的に変化する、変換不変性を持つ画像部品の同定が可能となり、計算効率が向上し、画像再構築性能も向上し、自然画像データセットにおいて従来手法を上回る速度と品質を達成する。

ABSTRACT

Latent feature models are attractive for image modeling, since images generally contain multiple objects. However, many latent feature models ignore that objects can appear at different locations or require pre-segmentation of images. While the transformed Indian buffet process (tIBP) provides a method for modeling transformation-invariant features in unsegmented binary images, its current form is inappropriate for real images because of its computational cost and modeling assumptions. We combine the tIBP with likelihoods appropriate for real images and develop an efficient inference, using the cross-correlation between images and features, that is theoretically and empirically faster than existing inference techniques. Our method discovers reasonable components and achieve effective image reconstruction in natural images.

研究の動機と目的

• 事前にセグメンテーションを行わない状態で、実画像を処理する際の従来の潜在特徴モデルの限界を解消すること。
• 実画像設定における標準tIBPの計算非効率性とモデリング不適合性を克服すること。
• より高速かつ正確な特徴発見が可能な、相関を活用したスケーラブルな推論手法を開発すること。
• 空間的および変換不変性を備えた自然画像における複数オブジェクトのエンドツーエンドモデリングを可能にすること。
• 画像セグメンテーションを必要とせず、学習された部品を用いて高品質な画像再構築を達成すること。

提案手法

• 連続的な画像強度に適した尤度関数に置き換えることで、二値尤度仮定を排除し、実数値の自然画像をモデリングする変換インド・バンケット過程（tIBP）の拡張。
• 画像パッチと特徴の間の相関を用いて、事後分布を効率的に計算する、新しい推論アルゴリズムの導入。
• 潜在的特徴とその空間的位置の事後分布を近似するための変分ベイズ推論フレームワークの採用。
• 特徴を空間的に局在化されたパターンとしてモデル化し、平行移動、回転、スケーリングによって複数の位置に出現可能とすることで、変換不変性を実現。
• インド・バンケット過程による非パラメトリックな事前分布を用いて、データ駆動型の部品数の柔軟な発見を可能にする。
• 相関の計算的効率性を活用し、標準的なMCMCや変分法と比較して推論時間を短縮する。

実験結果

リサーチクエスチョン

• RQ1 tIBPは、二値データではなく連続的な画素強度を持つ実画像をモデリングするために適応可能か？
• RQ2 事前にセグメンテーションを行わない自然画像に対して、tIBPベースのモデルでどのように効率的な推論を達成できるか？
• RQ3 推論に相関を用いることで、従来手法と比較して収束が速くなり、スケーラビリティが向上するか？
• RQ4 モデルは、現実の物体やパターンに対応する意味的で解釈可能な画像部品を発見できるか？
• RQ5 提案手法は、従来の画像モデリング手法と比較して再構築品質と計算コストの両面で優れているか？

主な発見

• 変分推論手順において相関を用いることで、理論的および実験的に従来手法よりも高速な推論が達成された。
• モデルは、エッジ、テクスチャ、オブジェクト部品など、現実的で妥当な画像構造に対応する空間的に局在化された、変換不変性を持つ部品を効果的に発見した。
• 画像再構築品質は高く、画像セグメンテーションを必要とせず、学習された特徴を用いて視覚的に妥当な再構築が可能であった。
• 標準tIBP手法と比較して、実画像におけるスケーラビリティが優れており、大規模な自然画像データセットへの適用が現実的になった。
• 実画像に適した尤度関数の使用により、二値またはガウス近似と比較してモデリング精度が顕著に向上した。