[論文レビュー] Graph-based Isometry Invariant Representation Learning

Renata Khasanova, Pascal Frossard|arXiv (Cornell University)|Mar 1, 2017

Domain Adaptation and Few-Shot Learning被引用数 34

ひとこと要約

本稿では、画像をグリッドグラフ上の信号としてモデル化することで等長変換不変表現を学習する、TIGraNetと呼ばれるグラフベースの深層学習フレームワークを提案する。スペクトル畳み込みと動的グラフプーリングにより、回転および平行移動に対する内在的な不変性を実現する。本手法は、変換拡張訓練データを用いない状況でも、ConvNets や空間変換ネットワークを上回る最先端の性能を達成し、回転・平行移動を伴う画像分類タスクで優れた結果を示す。

ABSTRACT

Learning transformation invariant representations of visual data is an important problem in computer vision. Deep convolutional networks have demonstrated remarkable results for image and video classification tasks. However, they have achieved only limited success in the classification of images that undergo geometric transformations. In this work we present a novel Transformation Invariant Graph-based Network (TIGraNet), which learns graph-based features that are inherently invariant to isometric transformations such as rotation and translation of input images. In particular, images are represented as signals on graphs, which permits to replace classical convolution and pooling layers in deep networks with graph spectral convolution and dynamic graph pooling layers that together contribute to invariance to isometric transformations. Our experiments show high performance on rotated and translated images from the test set compared to classical architectures that are very sensitive to transformations in the data. The inherent invariance properties of our framework provide key advantages, such as increased resiliency to data variability and sustained performance with limited training sets.

研究の動機と目的

• 画像分類における回転や平行移動などの幾何変換を適切に扱えない深層畳み込みネットワークの限界を是正すること。
• データ拡張に依存せずに、内在的に変換不変特徴を学習する深層学習アーキテクチャの開発。
• グラフ信号処理を活用し、等長変換下でも不変性を保つフィルターやプーリング操作を構築すること。
• 不変グラフベース特徴を統合することで分類のロバスト性を高める、新しい統計層の設計。
• 限られた訓練データとテストセットにおける未観測変換を想定したベンチマークデータセットで優れた性能を示すこと。

提案手法

• 入力画像をグリッドグラフ上の信号として表現し、ピクセル行列の代わりに構造的グラフ表現を用いることで、方向と位置を分離する。
• グラフラプラシアンの多項式フィルタを用いたグラフスペクトル畳み込みを採用し、高価な固有値分解を回避することで、効率的な特徴学習を実現する。
• 特徴学習の過程でグラフ構造を動的に精緻化する動的グラフプーリングを導入し、空間的関係を保持する。
• 最終全結合層の直前に、変換不変特徴を効果的に集約するための新しい統計層を設計する。
• スペクトル畳み込み、動的プーリング、統計層を統合し、TIGraNetと呼ばれる完全なエンドツーエンドの深層ネットワークアーキテクチャを構築する。
• 構築の段階で等長変換不変特徴を学習可能にすることで、未観測の回転や平行移動に対してもロバストな性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 回転や平行移動といった等長変換に対して、本質的に不変な特徴を学習できる深層学習アーキテクチャを設計できるか？
• RQ2 グラフ信号処理を活用することで、従来の畳み込みおよびプーリング層に代わる、変換不変性を保つアプローチをどのように実現できるか？
• RQ3 訓練データに存在しない幾何変換がテストデータに含まれる場合、グラフ表現が分類精度にどの程度寄与するか？
• RQ4 データのばらつきにさらされた状況下で、STN や HarmNet、DeepScat といった最先端モデルと比較して、TIGraNetアーキテクチャはどの程度のロバスト性と性能を示すか？
• RQ5 特に訓練データにテストセットの変換が存在しない場合でも、限られた訓練データで高い性能を維持できるか？

主な発見

• MNIST-rot データセットでは95.1%の精度を達成し、STN（45.1%）、ConvNet（80.1%）、DeepScat（87.3%）、HarmNet（94.0%）を大きく上回った。
• MNIST-trans データセットでは、訓練時に平行移動拡張を一切用いていないにもかかわらず、高い性能を維持しており、幾何変換に対する強い不変性を示している。
• 限られた訓練例が与えられるETH-80データセットでは、ConvNet や STN がデータ不足の影響を強く受ける中、TIGraNetは優れた精度を達成した。これは、小規模データセットでも高いロバスト性を示していることを確認した。
• 特徴マップの分析から、誤分類の主な原因は極端なシフトに起因する境界アーチファクトであることが判明し、空間的制約がノードの近傍安定性に影響を与えている可能性が示唆された。
• 提案された統計層は、不変特徴を効果的に統合し、全結合層の表現力を損なわせることなく分類性能を向上させた。
• TIGraNetは未観測の変換に対しても良好に一般化できており、訓練時に存在しなかった回転・平行移動画像を正しく分類できた。