[論文レビュー] $ N^4 $-Fields: Neural Network Nearest Neighbor Fields for Image Transforms

Yaroslav Ganin, Victor Lempitsky|arXiv (Cornell University)|Jun 25, 2014

Automated Road and Building Extraction参考文献 22被引用数 4

ひとこと要約

本論文では、畳み込みニューラルネットワーク（CNN）と最近傍探索を組み合わせることで、自然エッジ検出や細いオブジェクトセグメンテーションといった困難な画像処理タスクの性能を向上させる、N⁴-Fieldsと呼ばれる新しい深層学習アーキテクチャを提案する。CNNで学習された特徴量を用いて、意味的に類似した訓練用パッチを検索し、そのアノテーションを転送することで、最小限のハイパーパrameterチューニングで複数のベンチマークで最先端の結果を達成している。

ABSTRACT

We propose a new architecture for difficult image processing operations, such as natural edge detection or thin object segmentation. The architecture is based on a simple combination of convolutional neural networks with the nearest neighbor search. We focus our attention on the situations when the desired image transformation is too hard for a neural network to learn explicitly. We show that in such situations, the use of the nearest neighbor search on top of the network output allows to improve the results considerably and to account for the underfitting effect during the neural network training. The approach is validated on three challenging benchmarks, where the performance of the proposed architecture matches or exceeds the state-of-the-art.

研究の動機と目的

• 明示的な学習がアンダーフィッティングを引き起こしやすい、複雑な画像変換を学習するための深層CNNの訓練の難しさに対処する。
• 単体のCNNが達成できる範囲を超えて、エッジ検出および細いオブジェクトセグメンテーションタスクの性能を向上させる。
• 再トレーニングやチューニングを最小限に抑え、多様な画像ドメインに一般化可能な汎用的で転送可能なフレームワークを開発する。
• CNN特徴抽出と非パrametricな最近傍探索の組み合わせが、精度とロバストネスを向上させることを示す。
• 複数の標準ベンチマーク上でアプローチを検証し、従来手法に比べて普遍性と優位性を確立する。

提案手法

• 入力画像を重複するパッチに分割し、各パッチを事前学習済みのCNNに通して高レベル特徴量を抽出する。
• 訓練パッチからのCNN活性化ベクトルを辞書に格納し、効率的な最近傍検索を可能にする。
• 各テストパッチについて、CNN特徴空間におけるL2距離に基づいて、辞書内からk個の最近傍を特定する。
• 最近傍の訓練パッチからの正例アノテーション（例：エッジマップやセグメンテーションマスク）をテストパッチに転送する。
• 重複するパッチの結果を平均化することで、最終的な整合性のある出力画像変換を生成する。
• トレーニング中にPCAを用いてCNN特徴量を圧縮し、メモリと計算コストを削減しながらも、識別力を維持する。

実験結果

リサーチクエスチョン

• RQ1 CNN特徴抽出と非パrametricな最近傍探索の組み合わせが、複雑な画像処理タスクの性能向上に寄与するか？
• RQ2 このハイブリッドアプローチは、自然エッジ検出のような困難な変換を学習する際のCNNのアンダーフィッティングを緩和するか？
• RQ3 N⁴-Fieldsの性能は、エッジ検出および血管セグメンテーションタスクにおいて、構造的フォレストなどの最先端手法と比べてどうか？
• RQ4 再トレーニングなしで、異なる画像ドメイン（例：自然画像、RGBD、網膜マイクログラフ）間でどの程度転送可能か？
• RQ5 埋め込み空間における特徴表現や距離尺度の選択に、この手法の性能がどの程度依存するか？

主な発見

• 自然エッジ検出のためのBerkeley Segmentation Dataset（BSDS500）において、N⁴-Fieldsは最先端の性能を達成し、以前のSOTA手法と同等またはそれを上回っている。
• NYU RGBDデータセットでは、特に低一致閾値での性能において、最先端の構造的エッジ検出器とほぼ同等の性能を示している。
• DRIVEデータセットにおける網膜血管セグメンテーションでは、Beckerら[29]の最先端手法と同等の性能を達成し、CNNベースラインや[20]よりも顕著に優れている。
• 同じメタパrameterとCNNアーキテクチャを用いても、RGB、RGBD、網膜マイクログラフデータのあらゆるドメインでSOTA結果を達成しており、ドメイン間での一般化性能が優れている。
• PCAで圧縮されたCNN特徴量の使用が不可欠である——SIFT特徴量を用いたベースラインの最近傍探索では性能が著しく低く、学習済み特徴量が成功の鍵であることが示された。
• 構造的フォレストより遅いものの、ドメイン固有のチューニングを一切不要としており、新規の画像モodalitiesへの適応性が極めて高い。