[論文レビュー] A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding

Bruno Lecouat, Jean Ponce+1 more|arXiv (Cornell University)|Jun 26, 2020

Sparse and Compressive Sensing Techniques被引用数 7

ひとこと要約

本稿では、非滑らかな凸最適化問題をゲーム理論的定式化と適応的スムージング・正則化を用いて解釈する、柔軟でエンド・ツー・エンドで学習可能なフレームワークを提案する。このフレームワークにより、全変動、バイリューシスフィルタリング、非局所自己類似性などの多様で解釈可能な画像事前知識をディープラーニングモデルに統合でき、最大50倍少ないパラメータで最先端の性能を達成し、データ効率性も向上する。

ABSTRACT

We introduce a general framework for designing and training neural network layers whose forward passes can be interpreted as solving non-smooth convex optimization problems, and whose architectures are derived from an optimization algorithm. We focus on convex games, solved by local agents represented by the nodes of a graph and interacting through regularization functions. This approach is appealing for solving imaging problems, as it allows the use of classical image priors within deep models that are trainable end to end. The priors used in this presentation include variants of total variation, Laplacian regularization, bilateral filtering, sparse coding on learned dictionaries, and non-local self similarities. Our models are fully interpretable as well as parameter and data efficient. Our experiments demonstrate their effectiveness on a large diversity of tasks ranging from image denoising and compressed sensing for fMRI to dense stereo matching.

研究の動機と目的

• エンド・ツー・エンドで学習可能な、ドメイン特化した画像事前知識を統合できる汎用的で解釈可能なフレームワークの開発。
• 単純で微分可能であるが解釈性に欠ける事前知識に依存する従来手法の限界を克服すること。
• 全変動や非局所自己類似性のような複雑な非滑らかな正則化関数の効率的学習。
• 医療的・科学的画像処理で一般的な低データ環境において、データおよびパラメータ効率性の向上。
• 最適化アンロールを用いた数学的に根拠のある、ニューラルネットワーク意思決定の機能的解釈の提供。

提案手法

• グラフ上の局所エージェント（ノード）間で非協力的凸ゲームを定式化し、各エージェントが共有正則化付きの局所最適化問題を解くことで画像修復を実現。
• 全変動やℓ1ノルムのような非滑らかな項を扱うために、モアレ・ヨシダ正則化技術を用い、微分可能な最適化を可能にする。
• 得られた最適化アルゴリズムをニューラルネットワークアーキテクチャにアンロールし、層がアルゴリズムの反復に対応する。
• 適応的スムージングとゲーム符号化を導入し、空間的に離れたピクセル群間の正則化強度と相互作用を動的に調整。
• 二段階最適化設定を採用し、データからモデルパラメータと正則化関数の構造を同時に学習。
• スパースコーディング、ラプラシアン正則化、非局所自己類似性などの多様な事前知識を、統一的かつトレーニング可能なフレームワーク内で統合可能。

実験結果

リサーチクエスチョン

• RQ1 統一的フレームワークにより、複雑で非滑らかな画像事前知識をエンド・ツー・エンドで学習可能であり、解釈性を保持できるか？
• RQ2 ゲーム理論的正則化の統合が、低データまたは高複雑性の画像処理タスクにおいて性能をどのように向上させるか？
• RQ3 ゲームベースのフレームワークにおける適応的スムージングと非局所的相互作用は、はるかに少ないパラメータで標準的なディープラーニングネットワークを上回る性能を達成できるか？
• RQ4 このフレームワークは、ノイズ除去、fMRI再構成、ステレオマッチングなど、多様な画像処理タスクにどれほど一般化可能か？
• RQ5 標準的なCNNと比較して、限られたトレーニングデータ下でのモデル性能はどのようにスケーリングするか？

主な発見

• 提案フレームワークは、画像ノイズ除去、圧縮fMRI再構成、高密度ステレオマッチングにおいて、最先端の結果と同等またはそれを上回る性能を達成。
• 非局所自己類似性正則化付きのトレーニング可能な全変動ブロックは、KITTI2015ステレオマッチングで3ピクセル誤差2.10 ± 0.03を達成し、50倍少ないパラメータでPSMNetを上回った。
• 低データ環境では、モデルの性能がCNNベースラインとの差が拡大し、医療画像処理において極めて重要なデータ効率性の優位性を示した。
• 標準的なCNNと比較して、パラメータ数を最大50倍削減しながら、精度を維持または向上させた。
• 事前学習済みステレオモデルにTVブロックを統合した場合、10回の実験で一貫して性能向上が得られ、追加パラメータは最小限に抑えられた。
• 明確な数学的意味を持つ解釈可能なモデルのエンド・ツー・エンド学習を可能にし、ブラックボックスアーキテクチャへの依存を低減した。