[論文レビュー] Deep Network Interpolation for Continuous Imagery Effect Transition

Xintao Wang, Ke Yu+3 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Image Processing Techniques参考文献 37被引用数 4

ひとこと要約

本論文では、超解像、スタイル変換、画像修復などの多様な画像効果の間で滑らかで連続的な遷移を実現するためのシンプルかつ汎用的な手法である深層ネットワーク補間（DNI）を提案する。これは、2つ以上の事前学習済みで相関のある深層ニューラルネットワークのパラメータを線形補間することで達成される。この手法により、再訓練を必要とせず、リアルタイムで微調整可能な出力効果の制御が可能となり、画素レベルの補間や既存のタスク特化型設計を凌駆する視覚的品質と柔軟性を実現する。

ABSTRACT

Deep convolutional neural network has demonstrated its capability of learning a deterministic mapping for the desired imagery effect. However, the large variety of user flavors motivates the possibility of continuous transition among different output effects. Unlike existing methods that require a specific design to achieve one particular transition (e.g., style transfer), we propose a simple yet universal approach to attain a smooth control of diverse imagery effects in many low-level vision tasks, including image restoration, image-to-image translation, and style transfer. Specifically, our method, namely Deep Network Interpolation (DNI), applies linear interpolation in the parameter space of two or more correlated networks. A smooth control of imagery effects can be achieved by tweaking the interpolation coefficients. In addition to DNI and its broad applications, we also investigate the mechanism of network interpolation from the perspective of learned filters.

研究の動機と目的

• 決定的深層ネットワークが唯一の固定出力を生成するという制限を解消し、多様なユーザーの好みや異なる修復強度に対応できるようにすること。
• タスク特化型のアーキテクチャ変更を必要とせず、MSEとGANの超解像、昼間と夜間の写真など、異なる画像効果の間で滑らかで連続的な遷移を実現すること。
• 低レベルビジョンタスクに応用可能な汎用的で軽量な解決策を提供し、補間係数による画像効果の制御を可能とすること。
• 画素レベルの補間やインスタンス正規化に基づく手法と比較して、パラメータ空間補間の有効性とその背後にあるメカニズムを調査すること。

提案手法

• DNIは、効果A用と効果B用に微調整済みの2つの事前学習済みで相関のある深層ニューラルネットワーク間のパラメータ空間で線形補間を実行する。
• 補間係数 α ∈ [0,1] がブレンドを制御する：θ_interpolated = α·θ_A + (1−α)·θ_B ここで θ_A と θ_B は2つのネットワークのモデルパラメータである。
• 補間されたモデルは、同じ入力を用いて推論に使用され、追加の訓練を必要とせず、効果AとBの間で連続的な遷移を生成する。
• この手法はVGG、ResNet、DenseNetなどの標準アーキテクチャと互換性があり、各補間に対してアーキテクチャの変更や再訓練を必要としない。
• ベースモデルを新しい効果に適応させるために微調整を一度だけ実行する。これにより、元のモデルと微調整済みモデルの間で補間が可能になる。
• 本手法は超解像、画像間変換、スタイル変換、セマンティック属性変換の分野で評価され、広範な適用可能性が示された。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み深層ネットワークのパラメータ空間における線形補間が、多様な画像効果の間で滑らかで視覚的に妥当な遷移を達成できるか？
• RQ2 DNIは画素レベルの補間やインスタンス正規化に基づく補間と比較して、視覚的品質とアーチファクト抑制の面でどのように優れているか？
• RQ3 DNIは画像修復、スタイル変換、セマンティック属性操作を含む、さまざまな低レベルビジョンタスクにどの程度一般化可能か？
• RQ4 畳み込み層のパラメータがスタイルとテクスチャ変換に果たす役割は、インスタンス正規化のパラメータと比較してどのようなものか？

主な発見

• DNIはMSEベースとGANベースの超解像の間で、急激な変化や視覚的アーチファクトが生じない滑らかで連続的な遷移を達成した。
• DNIは、特に物体の境界で不自然なゴーストアーチファクトを生じる画素レベルの補間を凌駆した。
• 畳み込み層とインスタンス正規化層の両方を微調整すると、インスタンス正規化層のみを微調整する場合よりも優れたテクスチャ変換が得られ、畳み込み特徴量がスタイルモデリングにおいて重要であることが示された。
• DNIは中間のトレーニングデータが存在しない場合でも、顔の属性（例：若者から老人、男性から女性）の滑らかなセマンティック遷移を実現でき、自然な中間の顔を生成した。
• 本手法は計算効率が高く、各補間に対して再訓練を必要とせず、1つの補間係数によるリアルタイム制御が可能である。
• DNIはタスク間で一般化可能である：被写界深度の制御、昼間から夜間への写真変換、画像スタイル化におけるマルチスタイルブレンドの連続的遷移を成功裏に実現した。