[論文レビュー] Learning Generalized Transformation Equivariant Representations via Autoencoding Transformations

Guo-Jun Qi, Liheng Zhang+1 more|arXiv (Cornell University)|Jun 19, 2019

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、符号化された画像表現から適用された変換を再構築することで、一般化変換等価表現（GTERs）を学習するための自動符号化変換（AET）および自動符号化変異形変換（AVT）を提案する。この手法は、エンド・ツー・エンドの学習により複雑な非線形変換等価性を捉えることで、自己教師ありおよび半教師あり学習において最先端のモデルを上回る性能を発揮する。

ABSTRACT

Transformation Equivariant Representations (TERs) aim to capture the intrinsic visual structures that equivary to various transformations by expanding the notion of {\em translation} equivariance underlying the success of Convolutional Neural Networks (CNNs). For this purpose, we present both deterministic AutoEncoding Transformations (AET) and probabilistic AutoEncoding Variational Transformations (AVT) models to learn visual representations from generic groups of transformations. While the AET is trained by directly decoding the transformations from the learned representations, the AVT is trained by maximizing the joint mutual information between the learned representation and transformations. This results in Generalized TERs (GTERs) equivariant against transformations in a more general fashion by capturing complex patterns of visual structures beyond the conventional linear equivariance under a transformation group. The presented approach can be extended to (semi-)supervised models by jointly maximizing the mutual information of the learned representation with both labels and transformations. Experiments demonstrate the proposed models outperform the state-of-the-art models in both unsupervised and (semi-)supervised tasks.

研究の動機と目的

• 群等価畳み込みニューラルネットワーク（CNN）の制限を解決すること。具体的には、離散的かつ線形変換に限定され、複雑で連続的または非線形な変換に一般化できない点に起因する。
• アフィン変換、射影変換、ホモグラフィー変換を含む、任意の変換群に対して等価性を保つ視覚的表現を学習するための柔軟でスケーラブルなフレームワークを構築すること。
• 自己教師ありおよび教師あり設定への拡張を図り、表現と変換、およびラベルとの間の相互情報量を同時に最大化することで、(半)教師あり学習の枠組みを拡張すること。
• 表現から変換を再構築することにより、標準的なデータ自動符号化やデータ増強よりも強力で汎用性の高い特徴を学習できることを示すこと。

提案手法

• 入力画像と変換済み画像の符号化表現から、適用された変換を再構築する自動符号化器型アーキテクチャである自動符号化変換（AET）を提案する。
• 変分下界を用いて表現と変換の間の相互情報量を最大化する確率的バージョンとして、自動符号化変異形変換（AVT）を導入する。
• AVTにおける困難な相互情報量最大化を近似するために、代替変換デコーダーを用い、変分下界を介してエンド・ツー・エンドの学習を可能にする。
• 自己教師ありおよび半教師あり学習への拡張として、(半)教師あり自動符号化変換（SAT）モデルを導入し、ラベルと変換の両方との相互情報量を同時に最適化する。
• 入力画像と変換済み画像の両方に対して共通のエンコーダーを用いることで、表現の変化が適用された変換と一致するようにし、等価性を強制する。
• 変換空間の低次元性を活用して、効率的で浅いデコーダーを実現し、逆誤差伝搬と表現学習を改善する。

実験結果

リサーチクエスチョン

• RQ1 自動符号化による変換再構築は、標準的なデータ自動符号化よりも、より頑健で汎用性の高い視覚的表現をもたらすか？
• RQ2 提案されたAETおよびAVTフレームワークは、線形的で離散的な群にとどまらず、連続的および非線形な変換に対しても一般化された変換等価表現を学習できるか？
• RQ3 SATにおける変換とラベル情報の共同モデリングは、標準的なデータ増強やエントロピー最小化と比較して、半教師あり学習の性能をどのように向上させるか？
• RQ4 学習された表現は、射影歪みのような複雑な視覚的構造をどれほど正確に捉えられるか？
• RQ5 提案手法は、自己教師ありおよび半教師あり画像分類ベンチマークにおいて、既存の最先端モデルを上回る性能を発揮するか？

主な発見

• SATモデルは、CIFAR-10で4,000枚のラベル付きデータのみを用いた場合、テスト誤差率11.05％を達成し、同じ条件下で27.99％にとどまるデータ増強による変換（DAT）ベースラインを著しく上回る。
• エントロピー最小化を用いない状態でも、SATモデルはMean Teacher、Temporal Ensembling、Π-modelといった最先端の半教師あり手法を上回り、その頑健さと有効性を示している。
• AETおよびAVTモデルは、変換再構築を通じて複雑な視覚的構造を捉えることで、自己教師あり表現学習において、従来の自動符号化および群等価CNNを上回る性能を発揮している。
• アブレーションスタディにより、SATモデルはエントロピー最小化の有無に関わらず、VAT（仮想アドバーシャルトレーニング）を常に上回ることが確認され、変換等価特徴の学習の利点が明確に示された。
• 本手法はタスク間で良好な一般化性能を示し、セマンティックセグメンテーション、オブジェクト検出、スーパーキャラクタリゼーション、少数ショット学習、細分化分類への応用が可能である。
• AVTバージョンは、変分下界を用いることで、困難な相互情報量最大化を効果的に処理し、安定した学習と効果的な表現学習を実現している。