[論文レビュー] DeepPermNet: Visual Permutation Learning

Rodrigo Santa Cruz, Basura Fernando+2 more|arXiv (Cornell University)|Apr 10, 2017

Digital Media Forensic Detection参考文献 40被引用数 11

ひとこと要約

DeepPermNetは、二重確率行列を用いた微分可能Sinkhorn反復による離散的置換行列の近似を活用し、エンドツーエンド学習を可能にする、視覚的置換学習のための新しい深層学習フレームワークを導入している。この手法は、相対的属性学習および自己教師付き表現学習において、Public Figures、OSR、PASCAL VOCベンチマークで先行手法を上回る最先端の性能を達成している。

ABSTRACT

We present a principled approach to uncover the structure of visual data by solving a novel deep learning task coined visual permutation learning. The goal of this task is to find the permutation that recovers the structure of data from shuffled versions of it. In the case of natural images, this task boils down to recovering the original image from patches shuffled by an unknown permutation matrix. Unfortunately, permutation matrices are discrete, thereby posing difficulties for gradient-based methods. To this end, we resort to a continuous approximation of these matrices using doubly-stochastic matrices which we generate from standard CNN predictions using Sinkhorn iterations. Unrolling these iterations in a Sinkhorn network layer, we propose DeepPermNet, an end-to-end CNN model for this task. The utility of DeepPermNet is demonstrated on two challenging computer vision problems, namely, (i) relative attributes learning and (ii) self-supervised representation learning. Our results show state-of-the-art performance on the Public Figures and OSR benchmarks for (i) and on the classification and segmentation tasks on the PASCAL VOC dataset for (ii).

研究の動機と目的

• シャッフルされた画像パッチから視覚的構造を学ぶという挑戦に応えるために、視覚的置換学習という新しい深層学習タスクを定式化する。
• 離散的置換行列の非微分性を克服するため、二重確率行列による連続的近似を用いる。
• シャッフルされたパッチから元の画像構造を回復できるエンドツーエンドで学習可能なCNNモデルを開発する。
• 相対的属性学習や自己教師付き表現学習といった実世界のビジョンタスクにおけるこのアプローチの有効性を示す。

提案手法

• 元の画像を未知の置換によってシャッフルされたパッチから元の画像を回復することを目的とする、新しいタスク「視覚的置換学習」を提案する。
• Sinkhorn反復を用いて、置換行列を二重確率行列として連続的近似する。
• ニューラルネットワークにSinkhorn反復を微分可能レイヤーとして統合し、置換推定プロセスを逆誤差伝搬可能にする。
• 標準的なCNNを用いて初期行列を予測し、その後、アンラールドSinkhorn反復により、微分可能な二重確率行列近似を精緻化する。
• 標準的なバックプロパゲーションを用いて、特徴抽出と置換回復の両方を共同最適化できるように、ネットワーク全体をエンドツーエンドで学習する。
• 学習された置換モジュールを、相対的属性学習や自己教師付き表現学習といった下流タスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、シャッフルされたパッチから画像の元の構造を効果的に回復できるか？
• RQ2 勾配ベース最適化を用いる深層学習において、離散的置換行列を効果的に近似する方法は何か？
• RQ3 提示された微分可能置換学習フレームワークは、相対的属性学習および自己教師付き表現学習の性能を向上させるか？
• RQ4 学習された置換モジュールは、PASCAL VOCやPublic Figuresといった多様なビジョンベンチマークに一般化可能か？

主な発見

• DeepPermNetは、相対的属性学習においてPublic Figuresベンチマークで最先端の性能を達成した。
• OSRベンチマークにおいても、相対的属性学習で新たな最先端の結果を樹立した。
• 自己教師付き表現学習の下で、PASCAL VOCデータセットにおける分類およびセグメンテーション性能が向上した。
• 微分可能Sinkhorn反復の使用により、置換の離散性にもかかわらず、効果的なエンドツーエンド学習が可能になった。
• フレームワークは複数のビジョンタスクに強く一般化しており、視覚的置換学習が学習のインダクティブバイアスとして有効であることを示している。