[論文レビュー] Polar Transformer Networks

Carlos Esteves, Christine Allen-Blanchette+2 more|arXiv (Cornell University)|Sep 6, 2017

Advanced Neural Network Applications参考文献 28被引用数 31

ひとこと要約

Polar Transformer Networks (PTN) は、畳み込みニューラルネットワークが並進不変性と回転・スケーリングに等長性を学習できるようにする微分可能でログ極座標変換モジュールを導入する。ヒートマップを用いて極座標の原点を予測し、入力をログ極座標に変換することで、回転MNISTおよび新規の SIM2MNIST データセットで最先端の性能を達成し、ごみや変形を含む画像の処理において従来手法を上回る。

ABSTRACT

Convolutional neural networks (CNNs) are inherently equivariant to translation. Efforts to embed other forms of equivariance have concentrated solely on rotation. We expand the notion of equivariance in CNNs through the Polar Transformer Network (PTN). PTN combines ideas from the Spatial Transformer Network (STN) and canonical coordinate representations. The result is a network invariant to translation and equivariant to both rotation and scale. PTN is trained end-to-end and composed of three distinct stages: a polar origin predictor, the newly introduced polar transformer module and a classifier. PTN achieves state-of-the-art on rotated MNIST and the newly introduced SIM2MNIST dataset, an MNIST variation obtained by adding clutter and perturbing digits with translation, rotation and scaling. The ideas of PTN are extensible to 3D which we demonstrate through the Cylindrical Transformer Network.

研究の動機と目的

• 並進不変性と回転・スケーリングに等長性を達成する CNN アーキテクチャの開発。
• ポーズ回帰や群畳み込みフィルタに依存する既存手法の制限を克服すること。
• 標準座標系を用いて、CNN の等長性の概念を回転にとどまらずスケーリングおよび並進に拡張すること。
• ごみや幾何的歪みを含む困難なデータセットにおいて、本手法の有効性を示すこと。
• ボクセルグリッド上の物体分類に向け、円筒座標を用いて 3D に拡張するフレームワークの構築。

提案手法

• ネットワークは3段階構成：極座標原点を予測する完全畳み込み型ヒートマップヘッド、微分可能な極座標変換モジュール、標準的な分類ヘッド。
• 極座標変換モジュールは微分可能なログ極座標変換を実行し、デカルト座標入力をログ極座標空間に変換する。この空間では回転と拡大が並進に変換される。
• 極座標原点は、ネットワークが予測する1チャンネルのヒートマップの重心として、エンドツーエンドで学習される。
• ログ極座標空間では、標準的な2次元畳み込みが回転・スケーリング群上の群畳み込みに相当し、明示的な群フィルタリングなしに等長性を実現可能。
• 3次元への拡張では、1軸をチャンネルとして扱い、各スライスに2次元極座標変換を適用することで円筒座標を用いる。軸の予測には非等方的プロービングを用いる。
• バックプロパゲーションを用いてエンドツーエンドで訓練され、原点予測および座標変換の両方が微分可能である。

実験結果

リサーチクエスチョン

• RQ1 ポーズ回帰や群畳み込みフィルタに依存せずに、CNN が並進不変性および回転・スケーリングに等長性を達成できるか？
• RQ2 微分可能なログ極座標変換を用いて、幾何的変形を標準座標系における単純な並進に変換できるか？
• RQ3 極座標変換モジュールは、CNN の深層部においても等長性と不変性をどれほど効果的に保持できるか？
• RQ4 円筒座標を用いることで、ボクセルグリッドのような3次元データに対して、軸周りの回転に等長性を実現できるか？
• RQ5 本手法は、ごみや任意の幾何的変形を含むデータセットで、既存の最先端手法を上回る性能を示せるか？

主な発見

• PTN は回転MNISTデータセットで最先端の性能を達成し、従来手法を顕著に上回った。
• ごみやランダムな並進・回転・スケーリングを含む新規の SIM2MNIST データセットでは、報告された最高精度を達成した。
• 予測された極座標原点のヒートマップの可視化により、オブジェクト中心の検出と背景ごみの除外がネットワークによって成功裏に学習されていることが示された。
• 深層部の活性化は、並進不変性および回転・スケーリングに等長性がネットワーク全体にわたり保持されていることを確認した。
• 円筒変換モジュールの拡張版は、ModelNet40 で平均分類精度 86.5% を達成し、テストされたすべてのボクセルベース手法を上回った。
• 入力を円筒座標に変換することで、テスト時増幅を必要とせず、3次元データへの一般化が可能であることが示された。