[論文レビュー] Auto-pooling: Learning to Improve Invariance of Image Features from Image Sequences

Sainbayar Sukhbaatar, Takaki Makino+1 more|arXiv (Cornell University)|Jan 15, 2013

Image Retrieval and Classification Techniques参考文献 13被引用数 4

ひとこと要約

この論文では、時間的系列からの画像特徴のソフトクラスタリングを学習することで、空間的および非空間的変換に対する不変性を向上させる、新しい非教師ありプーリング手法であるauto-poolingを提案する。再構成誤差を最小化し、画像系列間の時間的整合性を保つことで、特に限られた学習データにおける画像分類において、従来の空間的プーリングを上回り、空間的インダクティブバイアスを欠くため、非畳み込みモデルにも適用可能である。

ABSTRACT

Learning invariant representations from images is one of the hardest challenges facing computer vision. Spatial pooling is widely used to create invariance to spatial shifting, but it is restricted to convolutional models. In this paper, we propose a novel pooling method that can learn soft clustering of features from image sequences. It is trained to improve the temporal coherence of features, while keeping the information loss at minimum. Our method does not use spatial information, so it can be used with non-convolutional models too. Experiments on images extracted from natural videos showed that our method can cluster similar features together. When trained by convolutional features, auto-pooling outperformed traditional spatial pooling on an image classification task, even though it does not use the spatial topology of features.

研究の動機と目的

• 従来の空間的プーリングの制限を解決する。これは畳み込みモデルに限定されており、主に空間的シフトに対する不変性の向上にとどまる。
• 固定された空間的配置に依存しない、データ駆動型の適応的クラスタリングを学習するプーリング手法を開発する。
• 画像系列からの非教師あり学習を用いて、回転や変形などの複雑な変換に対する特徴の不変性を向上させる。
• データからプーリングパラメータを学習することで、複雑な細胞の生物学的に妥当なモデルを構築する。
• 空間的トポロジーに依存しないため、非畳み込みモデルに対してもプーリングを適用可能にする。

提案手法

• Auto-poolingは、時間的整合性に基づいて低レベル特徴のソフトクラスタリングを学習するため、画像系列を入力とする。
• 特徴を保持しつつプーリングするため、オートエンコーダーに類似した目的関数を用いて再構成誤差を最小化する。
• 特徴をクラスターセンタにマップする変換行列を学習し、勾配降下法を用いてクラスタリングを最適化する。
• 空間的情報を一切使用しないため、非畳み込み特徴抽出器にも適用可能である。
• 自然な動画系列上でエンドツーエンドに非教師ありで訓練することで、特徴表現の時間的安定性を向上させる。
• 固定された空間グリッドを仮定せずに特徴空間でクラスタリングが行われるため、適応的かつ可変なクラスターサイズと形状が可能である。

実験結果

リサーチクエスチョン

• RQ1 画像系列からの非教師あり学習によって、空間的シフトを超える特徴の不変性を向上させることができるか？
• RQ2 空間的トポロジーに依存しない、適応的かつソフトな特徴クラスタリングを学習できるプーリング手法は存在するか？
• RQ3 特に限られた学習データ下で、auto-poolingは従来の空間的プーリングよりも一般化性能が優れているか？
• RQ4 auto-poolingは非畳み込みモデルにも適用可能であり、その適用範囲を拡張できるか？
• RQ5 回転などの変換に対する不変性向上は、空間的プーリングと比較して、auto-poolingでどの程度顕著に現れるか？

主な発見

• CIFAR-10で全学習データを使用した場合、auto-poolingは69.7％の分類精度を達成し、$4\times4$プーリングを用いた空間的プーリング（68.4％）を上回った。
• 1クラスあたり1000例のみで学習した場合、auto-poolingは65.0％の精度を達成し、空間的プーリングの61.2％を著しく上回った。
• 同様の方向性を持つエッジ検出器などの類似特徴が適切にクラスタリングされ、回転不変性が実現された。
• 空間的近接性ではなく類似性に基づいて特徴をグループ化することで、畳み込み特徴抽出による冗長性が低減された。
• 性能向上は特にデータが少ない状況で顕著であり、より優れた一般化能力を示した。
• auto-poolingは、時間的整合性を活用することで、教師なしで堅牢で不変な表現を学習可能であることを示した。