[論文レビュー] Decouple Learning for Parameterized Image Operators

Qingnan Fan, Dongdong Chen+4 more|arXiv (Cornell University)|Jul 21, 2018

Image Enhancement Techniques被引用数 7

ひとこと要約

本論文では、ノイズ除去、スーパーレゾリューション、スムージングなどの画像演算子におけるさまざまなパrameter設定に対して、1つのディープニューラルネットワークが動的に重みを適応させることを可能にする、分離学習フレームワークを提案する。入力パrameterに基づいて基本ネットワークの重みを予測する別個の重み学習ネットワークを訓練することで、個別に訓練されたモデルと同等の性能を達成するとともに、連続的でインタラクティブなパrameter制御を可能にする。

ABSTRACT

Many different deep networks have been used to approximate, accelerate or improve traditional image operators, such as image smoothing, super-resolution and denoising. Among these traditional operators, many contain parameters which need to be tweaked to obtain the satisfactory results, which we refer to as "parameterized image operators". However, most existing deep networks trained for these operators are only designed for one specific parameter configuration, which does not meet the needs of real scenarios that usually require flexible parameters settings. To overcome this limitation, we propose a new decouple learning algorithm to learn from the operator parameters to dynamically adjust the weights of a deep network for image operators, denoted as the base network. The learned algorithm is formed as another network, namely the weight learning network, which can be end-to-end jointly trained with the base network. Experiments demonstrate that the proposed framework can be successfully applied to many traditional parameterized image operators. We provide more analysis to better understand the proposed framework, which may inspire more promising research in this direction. Our codes and models have been released in https://github.com/fqnchina/DecoupleLearning

研究の動機と目的

• 画像演算子において、固定された1つのパrameter設定にのみ訓練された従来のディープラーニングモデルの制限を克服すること。
• 再訓練や複数のモデルの保存を必要とせず、1つのモデルが複数のパrameter設定を処理できるようにすること。
• 異なるパrameter値における学習済み重みが、高次元空間における共有で学習可能な変換によって関連付けられるかどうかを検証すること。
• 1つのネットワーク内で複数の画像演算子と複数のパrameterを統合的にサポートする統一フレームワークを提供すること。
• 学習済み重み空間の可視化と分析を通じて、訓練済みネットワークの内部挙動メカニズムに関する洞察を提供すること。

提案手法

• タスク指向の基本ネットワークの重みをそのアーキテクチャから分離するため、別個の重み学習ネットワークを導入する。
• 共有の損失関数を用いて、基本ネットワークと重み学習ネットワークをエンドツーエンドで訓練する。
• 重み学習ネットワークの全結合層を活用し、基本ネットワークの各層の畳み込みカーネル重みを予測する。
• 重み予測を線形結合としてモデル化する：$ W_i = \gamma_1 A_{i1} + \gamma_2 A_{i2} + B_i $、ここで $ \gamma_1 $ と $ \gamma_2 $ は入力パrameterである。
• t-SNEを用いて高次元空間における学習済み重みの変換を可視化し、異なるパrameter設定間で線形的関係が存在することを確認する。
• 1つのフレームワーク内で複数の画像演算子と複数のパrameterを統合的に訓練可能にする。

実験結果

リサーチクエスチョン

• RQ1 パrameter化された画像演算子の複数のパrameter設定に一般化できる1つのディープネットワークを訓練できるか？
• RQ2 各設定ごとに再訓練を必要とせず、入力パrameterの学習可能な関数によって基本ネットワークの重みを動的に予測できるか？
• RQ3 異なるパrameter値や演算子間で、低次元かつ構造的な重み空間の表現が存在するか？
• RQ4 本フレームワークは、固定された1つのパrameter設定に特化して訓練されたモデルと比較して、性能に優れているか？
• RQ5 学習済み重み空間から、基本ネットワークの挙動に関する解釈可能なパターンや構造的洞察が得られるか？

主な発見

• 提案フレームワークは、ノイズ除去、スーパーレゾリューション、スムージングを含む複数の画像演算子において、1つのパrameter設定に特化して訓練されたモデルと同等の性能を達成する。
• 本フレームワークにより、推論中に連続的かつリアルタイムなパrameter調整が可能となり、インタラクティブなユーザー制御を支援する。
• t-SNE可視化により、異なるパrameter値における畳み込みカーネル重みが高次元空間で線形的軌道に沿って配置されていることが確認され、単純で構造的な変換が存在することが示された。
• 本手法は、1つのモデル内で複数の画像演算子と複数のパrameterを統合的に学習可能であり、優れた一般化性能と拡張性を示した。
• 重み空間の分析から、異なる演算子やパrameter値が制限された解釈可能な部分空間にマップされていることが判明し、タスク間で共有されるインダクティブバイアスが存在することが示唆された。
• 異なるパrameter値に対して再訓練や複数モデルの保存を不要にすることで、ストレージおよび訓練コストを削減した。