[論文レビュー] A General Decoupled Learning Framework for Parameterized Image Operators

Qingnan Fan, Dongdong Chen+4 more|arXiv (Cornell University)|Jul 11, 2019

Advanced Image Processing Techniques参考文献 40被引用数 7

ひとこと要約

本論文は、フィルタリング、ノイズ除去、スーパーレゾリューションなどの画像演算子におけるさまざまなパrameter設定に対して、1つのディープニューラルネットワークが動的に重みを調整できるようにする、分離学習フレームワークを提案する。入力パrameterに基づいて基本ネットワークの重みを予測する軽量な重み学習ネットワークを訓練することで、レイヤー単位の重み適応による効率的でリアルタイムなパrameterチューニングが可能となり、最先端の性能を達成する。

ABSTRACT

Many different deep networks have been used to approximate, accelerate or improve traditional image operators. Among these traditional operators, many contain parameters which need to be tweaked to obtain the satisfactory results, which we refer to as parameterized image operators. However, most existing deep networks trained for these operators are only designed for one specific parameter configuration, which does not meet the needs of real scenarios that usually require flexible parameters settings. To overcome this limitation, we propose a new decoupled learning algorithm to learn from the operator parameters to dynamically adjust the weights of a deep network for image operators, denoted as the base network. The learned algorithm is formed as another network, namely the weight learning network, which can be end-to-end jointly trained with the base network. Experiments demonstrate that the proposed framework can be successfully applied to many traditional parameterized image operators. To accelerate the parameter tuning for practical scenarios, the proposed framework can be further extended to dynamically change the weights of only one single layer of the base network while sharing most computation cost. We demonstrate that this cheap parameter-tuning extension of the proposed decoupled learning framework even outperforms the state-of-the-art alternative approaches.

研究の動機と目的

• 画像演算子において、固定された1つのパラメータ設定にのみトレーニングされた従来のディープラーニングモデルの制限を解消すること。
• 再トレーニングなしで、さまざまなパラメータ設定に対して異なる出力を自発的に生成できる1つのニューラルネットワークを可能にすること。
• 1つのネットワークレイヤーの重みのみを更新することで、計算コストを大幅に削減する、効率的でリアルタイムなパラメータチューニングメカニズムを開発すること。
• 共有されたパrameter化されたオペレータを用いて、複数の画像処理タスクを統合的に処理できるフレームワークを提供すること。
• 学習された重み-パラメータ関係の可視化を通じて、解釈可能性を提供すること。

提案手法

• 基本ネットワークの重みをそのアーキテクチャから分離するために、入力パラメータに基づいて畳み込み重みを予測する別個の重み学習ネットワークを導入する。
• 画像品質指標（PSNRなど）を最適化する共通の損失関数を用いて、基本ネットワークと重み学習ネットワークをエンドツーエンドで同時にトレーニングする。
• 入力パラメータから畳み込みカーネル重みへマッピングするため、完全結合層を重み学習ネットワークとして採用し、未観測のパラメータ値間で線形補間が可能になるようにする。
• 推論時に1つのレイヤーの重みのみを更新するようにフレームワークを拡張し、計算コストを著しく削減しながらも高い性能を維持する。
• カーネル重みを学習された基本カーネルの線形結合として表現するパラメータ化された畳み込み演算を採用する。
• エッジを保持するフィルタリング、スーパーレゾリューション、ノイズ除去など、多様な画像演算子にこのフレームワークを適用し、共通のアーキテクチャと動的パラメータ制御を実現する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ化された画像演算子の複数のパラメータ設定に一般化できるか、再トレーニングなしにディープラーニングモデルが性能を維持できるか。
• RQ2 軽量で微分可能なネットワークが、リアルタイムなパラメータ適応に応じて基本ネットワークの重みを動的に予測できるか。
• RQ3 パラメータ値間の重み空間における線形補間が、未観測のパラメータ設定に対しても高品質な結果をもたらすか。
• RQ4 1つのレイヤーの重みのみを更新するパラメータチューニングメカニズムが、フルネットワークの再計算と同等の性能を達成できるか。
• RQ5 複数の画像処理タスクを共通のパラメータ化されたオペレータを用いて同時に学習できるか。

主な発見

• 提案されたフレームワークは、特定の1つのパラメータ値に最適化されたネットワークと同等の性能を示し、複数の設定にわたる一般化にも成功している。
• フレームワークは強力な一般化性能を示し、重み空間における線形補間により、未観測のパラメータ値に対しても高品質な結果が得られる。
• 1つのレイヤーの重みのみを更新する低コストなパラメータチューニング拡張は、PSNRおよび視覚的品質の両面で、最先端の手法を大きく上回る性能を示している。
• 重み学習ネットワークに1つの完全結合層があれば十分であり、より複雑な構造にすることで性能が向上しないことが示された。
• 学習された重みの可視化により、異なるパラメータ設定における基本ネットワークの内部挙動に関する解釈可能なパターンが明らかになった。
• フレームワークは、1つの共有アーキテクチャを用いて複数の画像処理タスクを同時に学習可能であり、強力な拡張性を示している。