[論文レビュー] Geodesics of learned representations

Olivier J. Hénaff, Eero P. Simoncelli|arXiv (Cornell University)|Nov 19, 2015

Cell Image Analysis Techniques被引用数 11

ひとこと要約

本稿では、平行移動、回転、拡大などの幾何変換がどのように線形化されるかを可視化・評価するための代表的測地線（representational geodesics）という手法を紹介する。画像空間における滑らかさを制約しつつ、表現空間内での最小長路径を合成することで、最先端のニューラルネットワークがこれらの変換を線形化できていないことが明らかになったが、パラメトリックな変換および自然な画像系列の両方に対して効果的な線形化を可能にする簡単なアーキテクチャの修正を提案する。

ABSTRACT

We develop a new method for visualizing and refining the invariances of learned representations. Specifically, we test for a general form of invariance, linearization, in which the action of a transformation is confined to a low-dimensional subspace. Given two reference images (typically, differing by some transformation), we synthesize a sequence of images lying on a path between them that is of minimal length in the space of the representation (a "representational geodesic"). If the transformation relating the two reference images is linearized by the representation, this sequence should follow the gradual evolution of this transformation. We use this method to assess the invariance properties of a state-of-the-art image classification network and find that geodesics generated for image pairs differing by translation, rotation, and dilation do not evolve according to their associated transformations. Our method also suggests a remedy for these failures, and following this prescription, we show that the modified representation is able to linearize a variety of geometric image transformations.

研究の動機と目的

• 学習済み表現が平行移動、回転、拡大などの同一性を保つ変換をどれだけ線形化するかを診断するための手法を開発すること。
• 合成ベースの評価では過剰な不変性しか検出できないという限界を補うために、不十分な不変性も特定できる手法を導入すること。
• 測地線（最小長路）を可視化することで、表現幾何学に対するメトリクスに依存しない評価を実現すること。
• 変換の適切な線形化を妨げる深層ネットワークのアーキテクチャ上の欠陥を特定し、その是正策を提案すること。
• 階層的で粗いものから細かいものへの測地線計算を可能にし、自然な動画系列における時間的アーリアシング（temporal aliasing）などの問題を解消できること。

提案手法

• 測地線を、表現空間内での最小長路として定義し、N枚の画像の系列における離散最適化によって近似する。
• 組み合わせ目的関数を最小化する：表現エネルギー E[f(γ)] = Σ||f(xₙ) − f(xₙ₋₁)||²₂ により、表現が等間隔になるようにし、画像空間の路長を最小化することで滑らかさを確保する。
• 条件付き測地線最適化を用いる：画像空間での路が最小であるように制約しつつ、表現空間での路長が最小になるようにする。
• ピクセルベース（不変性なし）、フーリエ振幅（過剰な不変性）、深層ネットワーク特徴量（不十分な線形化）の表現を比較するためにこの手法を適用する。
• 各層に測地線制約を課すことで、階層的表現への一般化を図り、深い層に条件づけた粗いものから細かいものへの改良を可能にする。
• 測地線系列を用いて表現の失敗を診断・是正し、特にL2プーリングを用いたVGGネットワークのようなモデルで顕著な問題を、アーキテクチャの変更により線形化を改善できるようにする。

実験結果

リサーチクエスチョン

• RQ1 代表的測地線は、深層ネットワーク表現における過剰な不変性と不十分な不変性の両方を明らかにできるか？
• RQ2 最先端の画像分類ネットワークは、平行移動、回転、拡大といった基本的な幾何変換を線形化できるか？
• RQ3 変換の線形化に失敗することは、アーキテクチャの修正によって診断・是正可能か？
• RQ4 階層的測地線計算は、自然な動画系列における時間的アーリアシングのような問題を解消できるか？
• RQ5 測地線系列は、階層的表現における変換の解きほぐし（untangling）を評価するための診断ツールとして、どの程度有効に機能するか？

主な発見

• L2プーリングを用いたVGGネットワークは、平行移動、回転、拡大の線形化に失敗しており、変換された画像間の測地線が真の変換経路から逸脱していることが明らかになった。
• ピクセルベース表現からの測地線は単なる線形補間であり、不変性がないことが明らかになった。一方、フーリエ振幅表現からの測地線は位相の不一致を示しており、過剰な不変性があることが示された。
• 特に畳み込み層で平均プーリングをL2プーリングに置き換えた修正アーキテクチャにより、パラメトリック変換の範囲で線形化が成功した。
• 改善された表現により、映画『メランコリア』からの自然な動画系列における真の時間的変化とよく一致する測地線系列が得られた。
• 周期的な模様（例：編んだ cane）では時間的アーリアシングが生じ、測地線系列に逆方向のシフトが現れるが、これは運動推定における既知の限界であり、階層的測地線条件付けによって緩和可能である。
• 測地線系列により、表現空間の可逆なアフィン変換に対して不変であるため、モデル間およびネットワーク段階間での不変性特性の直接比較が可能になった。