[論文レビュー] Neural Nearest Neighbors Networks

Tobias Plötz, Stefan Roth|TUbilio (Technical University of Darmstadt)|Oct 30, 2018

Image and Signal Denoising Methods参考文献 36被引用数 30

ひとこと要約

本論文は、非局所ニューラルネットワークのエンドツーエンド学習を可能にするために、k近傍（KNN）選択ルールの微分可能で連続的な緩和を提案する。本手法は、自己類似性を学習可能な特徴空間を通じて活用するニューラル近傍ニューロンブロック（N³ブロック）を導入し、画像のノイズ除去およびスーパーレゾリューションにおいて、CNNおよび非局所ベースラインを上回り、Urban100およびBSD100データセットで最先端の結果を達成する。

ABSTRACT

Non-local methods exploiting the self-similarity of natural signals have been well studied, for example in image analysis and restoration. Existing approaches, however, rely on k-nearest neighbors (KNN) matching in a fixed feature space. The main hurdle in optimizing this feature space w.r.t. application performance is the non-differentiability of the KNN selection rule. To overcome this, we propose a continuous deterministic relaxation of KNN selection that maintains differentiability w.r.t. pairwise distances, but retains the original KNN as the limit of a temperature parameter approaching zero. To exploit our relaxation, we propose the neural nearest neighbors block (N3 block), a novel non-local processing layer that leverages the principle of self-similarity and can be used as building block in modern neural network architectures. We show its effectiveness for the set reasoning task of correspondence classification as well as for image restoration, including image denoising and single image super-resolution, where we outperform strong convolutional neural network (CNN) baselines and recent non-local models that rely on KNN selection in hand-chosen features spaces.

研究の動機と目的

• KNN選択の非微分可能性がニューラルネットワークにおけるエンドツーエンド学習を妨える問題を克服すること。
• 固定で手作業で設計された特徴に依存するのではなく、KNNマッチングに使用される特徴空間の最適化を可能にすること。
• 温度パラメータが0に近づく極限で元のKNN動作を維持する微分可能な連続的緩和を構築すること。
• 提案されたN³ブロックが画像修復および集合推論タスクにおける性能向上に有効であることを実証すること。

提案手法

• 温度パラメータを制御するソフトマックスをペairワイズ距離に適用することで、選択プロセスをバックプロパゲーション可能にする連続的で決定論的なKNN緩和を提案する。
• 距離のソフトミンを用いて微分可能な近傍重み付け方式を定義し、温度パラメータが選択の鋭さを制御する。
• 特徴マップに緩和されたKNN操作を適用し、類似したパッチからの情報を微分可能に集約する学習可能なニューラルネットワーク層（N³ブロック）を導入する。
• 温度パラメータにより、高温では均一平均（high temperature）から低温度ではハードKNN選択（low temperature）への補間が可能であり、最適化のための勾配が得られる。
• 緩和されたKNN操作を、標準的なソフトアテンションを一般化する微分可能なアテンションに類似したメカニズムとして活用し、深層ネットワークに積み重ねることが可能である。
• 全ネットワークをエンドツーエンドで訓練し、バックプロパゲーションにより特徴抽出器、距離尺度、近傍集約を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 KNN選択を微分可能にすることで、深層ニューラルネットワークにおけるエンドツーエンド学習を可能にできるか？
• RQ2 KNNマッチングのための特徴空間を最適化することで、画像修復タスクの性能が向上するか？
• RQ3 固定特徴を用いる非局所手法や強力なCNNベースラインを上回る、KNNの微分可能な緩和が、画像のノイズ除去およびスーパーレゾリューションで有効であるか？
• RQ4 深層ネットワーク内の特徴階層において、学習された温度および近傍重み付けはどのように変化するか？
• RQ5 N³ブロックは、対応分類のような集合値データに効果的に適用できるか？

主な発見

• N³ブロックは、Urban100における×2スーパーレゾリューションでPSNR 30.80 dBを達成し、強力なVDSRベースライン（30.76 dB）および他の非局所手法を上回った。
• Urban100における×4スーパーレゾリューションでは、N³ネットが25.23 dBを達成し、VDSR（25.18 dB）およびWSD-SR（25.16 dB）を上回り、視覚的によりシャープな結果を得た。
• σ=25のガウスノイズ除去において、N³ブロックはベースラインDnCNNの29.74 dBから29.99 dBへPSNRを向上させた。これは、より大きなパッチで学習しても同様に有効であった。
• ネットワークは、初期層でより鋭い（低い温度）選択（平均トップ重み ≈ 0.21）を学習し、深層層ではより均一な重み付け（≈ 0.04）を採用しており、階層的特徴の使用を示している。
• N³モデル全体の実行時間オーバーヘッドはDnCNNの3.5倍であるが、DnCNNおよびKNNベースラインと同等のオーバーヘッドで顕著に優れた性能を達成した。
• 対応分類タスクにおいて、最近のニューラルネットワークベースラインにN³ブロックを単純に追加するだけで顕著な性能向上が得られ、集合ベースのタスクへの汎用性を示した。