[論文レビュー] Patch Correspondences for Interpreting Pixel-level CNNs

Victor Fragoso, Chunhui Liu+2 more|arXiv (Cornell University)|Nov 29, 2017

Advanced Neural Network Applications参考文献 18被引用数 3

ひとこと要約

この論文では、学習画像間の入力および出力特徴量のピクセルレベルのCNNを、訓練データ全体にわたるピクセルレベルのマッピングを学習することで解釈する手法「Patch Correspondences」を提案する。新規のHyperPatch-Matchアルゴリズムとスキップ接続を用いることで、入力・出力の再構成、意味的対応関係の確立、制御可能な生成が可能となり、CNNがピクセルレベルの整合性によって分離可能で解釈可能な表現を学習していることを示している。

ABSTRACT

We present compositional nearest neighbors (CompNN), a simple approach to visually interpreting distributed representations learned by a convolutional neural network (CNN) for pixel-level tasks (e.g., image synthesis and segmentation). It does so by reconstructing both a CNN's input and output image by copy-pasting corresponding patches from the training set with similar feature embeddings. To do so efficiently, it makes of a patch-match-based algorithm that exploits the fact that the patch representations learned by a CNN for pixel level tasks vary smoothly. Finally, we show that CompNN can be used to establish semantic correspondences between two images and control properties of the output image by modifying the images contained in the training set. We present qualitative and quantitative experiments for semantic segmentation and image-to-image translation that demonstrate that CompNN is a good tool for interpreting the embeddings learned by pixel-level CNNs.

研究の動機と目的

• 訓練データ全体にわたる局所的特徴の対応関係を分析することで、ピクセルレベルのCNNを解釈すること。
• Pix2Pix や SegNet のような画像対画像翻訳ネットワークにおける解釈可能性の欠如に対処すること。
• 学習済みのピクセルマッチングから、未観測の入力および出力の再構成を可能にすること。
• 訓練データを変更することで、ユーザーが画像の性質（例：色、テクスチャ）を制御できるようにすること。
• 学習済みのピクセル特徴を用いて、クエリ画像と訓練画像間の意味的対応関係を可視化および分析すること。

提案手法

• C++11を用いたマルチスレッド処理可能なHyperPatch-Matchアルゴリズムを提案し、ピクセルマッチングを効率的に計算する。
• 線形代数処理にはEigenライブラリ、可視化にはPythonラッパーを介したOpenCVを用いる。
• エンコーダ・デコーダアーキテクチャにおいてスキップ接続を採用し、層間の空間的および意味的情報を保持する。
• 学習済みのピクセルマッチングを用いて、特徴埋め込みから入力および出力画像を再構成する。
• 事前学習済み特徴（例：SegNet や Pix2Pix からの特徴）を用いて、クエリ画像と訓練画像間の意味的対応関係を確立する。
• 訓練画像を変更することで、生成出力の性質（例：ファサードの色、窓のテクスチャ、スタイル）を制御可能にする。

実験結果

リサーチクエスチョン

• RQ1 訓練画像と入力/出力画像間のピクセルレベルの対応関係が、ピクセルレベルのCNNにおいて意味的で解釈可能な表現を明らかにできるか？
• RQ2 学習済みのピクセルマッチングと訓練データのみを用いて、未観測の入力および出力の再構成がどの程度正確に可能か？
• RQ3 学習済みのピクセル特徴が、クエリ画像と訓練画像間で意味的に意味のある対応関係を確立できるか？
• RQ4 訓練データを変更することで、ユーザーが画像の性質（例：色、テクスチャ）をどの程度制御できるか？
• RQ5 エンコーダ層とデコーダ層が、入力および出力の再構成にそれぞれどのように寄与しているか？

主な発見

• 提案手法は、ピクセルマッチングと訓練データのみを用いて、未観測の入力画像を成功裏に再構成した。初期のエンコーダ層が粗い構造を捉え、後のデコーダ層が詳細を精緻化する。
• デコーダ層が、出力画像における高精細な詳細の生成に顕著に寄与しており、再構成画像が元のネットワーク出力に近づく。
• Pix2Pix および SegNet 特徴を用いたピクセルマッチングにより、スカイ、建物、道路、歩道などのクラスで、クエリ画像と訓練画像間の意味的対応関係が明確に可視化された。
• 意味的対応関係は、Camvid および Cityscapes の異なるデータセット間でも安定しており、学習済み表現の汎用性を示している。
• 訓練画像を変更することで、ファサードの色、窓のテクスチャ、建築スタイルといった出力の性質を制御可能であり、モデルバイアスの特定や是正が可能であることが明らかになった。
• 本手法により、スキップ接続が情報の流れを保持・強化し、ネットワーク全体の各段階で正確な再構成が可能であることが確認された。