[論文レビュー] Visual Representations: Defining Properties and Deep Approximations

Stefano Soatto, Alessandro Chiuso|arXiv (Cornell University)|Nov 27, 2014

Advanced Image and Video Retrieval Techniques参考文献 46被引用数 28

ひとこと要約

本稿では、情報理論的原則に基づいて導かれた最小十分不変表現を、コンピュータビジョンタスクにおける最適な視覚表現として提案する。また、畳み込みニューラルネットワーク（CNN）で一般的に用いられるプーリング、正規化、クランピングといった手法が、これらの最適統計の近似として自然に生じることを示し、古典的記述子と現代のCNNを、一貫した不変性と十分性の観点から結びつける。

ABSTRACT

Visual representations are defined in terms of minimal sufficient statistics of visual data, for a class of tasks, that are also invariant to nuisance variability. Minimal sufficiency guarantees that we can store a representation in lieu of raw data with smallest complexity and no performance loss on the task at hand. Invariance guarantees that the statistic is constant with respect to uninformative transformations of the data. We derive analytical expressions for such representations and show they are related to feature descriptors commonly used in computer vision, as well as to convolutional neural networks. This link highlights the assumptions and approximations tacitly assumed by these methods and explains empirical practices such as clamping, pooling and joint normalization.

研究の動機と目的

• 与えられたタスクに対して最小十分不変統計としての最適な視覚表現を定義すること。
• 視覚表現学習における、いとく要因への不変性と識別力のトレードオフを形式化すること。
• プーリング、正規化、クランピングといった広く用いられる深層学習の実践的アプローチを、理論的に最適な表現の近似として説明すること。
• 一貫した情報理論的枠組みを通じて、古典的コンピュータビジョン記述子と現代の畳み込みニューラルネットワーク（CNN）を統合すること。

提案手法

• 十分統計といとく変換への不変性の概念を用いて、最小十分不変統計を最適表現として導出する。
• 最小十分不変統計を、いとくパラメータのマージナライズド尤度として特徴づけ、式 (41) で形式化する：$ p_{\theta,G}(y) = \int p_{\theta,g}(y) dP(g) $。
• 局所的記述子（例：SIFT、HOG）が、いとく群がコンパクトで構造的であるなどの制限付き仮定のもとで、この最適表現を近似していることを示す。
• 空間的プーリングを、小さな次元のいとく群に関するアンチアリーシングまたは局所的マージナライゼーションとして解釈し、サンプリング理論と結びつける。
• このような表現が、線形畳み込みとReLUユニットを用いて実装可能であることを示し、CNNアーキテクチャの理論的根拠を提供する。
• 共同正規化とクランピングを、十分な不変性を近似するための手続きとして導入し、それらの実効性を正当化する。

実験結果

リサーチクエスチョン

• RQ1 情報理論的原則に基づくと、最適な視覚表現はどのように定義されるか？
• RQ2 プーリング、正規化、クランピングといった一般的な深層学習の実践的アプローチは、最適な表現とどのように関係するか？
• RQ3 古典的局所記述子は、最小十分不変統計の近似として理解できるか？
• RQ4 不変性と十分性をどのようにバランスさせれば、いとく変動を除去しつつ識別力を保持できるか？
• RQ5 畳み込みニューラルネットワークと最適な視覚表現との間の理論的リンクは何か？

主な発見

• 最小十分不変統計は、$ p_{\theta,G}(y) = \int p_{\theta,g}(y) dP(g) $ として形式的に定義され、この表現はシーン $ \theta $ に関するすべての情報を保持すると同時に、いとく変換 $ g $ に対して不変である。
• SIFT や HOG といった局所的記述子は、いとく群がコンパクトであるなどの制限付き条件下でのみ、この最適表現を近似していることが示された。
• プーリングはアンチアリーシングまたは小さな次元のいとく群に関するマージナライゼーションとして解釈され、ヒューリスティックな使用を超えた理論的根拠を提供する。
• 共同正規化とクランピングは、十分な不変性を達成するための実用的近似として説明され、恣意的な設計なしにそれらの実効性を説明できるようになった。
• この枠組みにより、CNNがなぜ機能するかが説明される：そのアーキテクチャは階層的特徴学習を通じて、最小十分不変統計を自然に近似する。
• 理論により、生成的に訓練された理想的な表現は、付録Aで形式化されたように、表現の情報量を最大化することが示された。