[論文レビュー] CDFI: Compression-Driven Network Design for Frame Interpolation

Tianyu Ding, Luming Liang+2 more|arXiv (Cornell University)|Mar 18, 2021

Advanced Vision and Imaging参考文献 67被引用数 6

ひとこと要約

CDFIは、事前学習済みのAdaCoFモデルをスパarsity誘導最適化によりプリーニングすることで、10倍に小型化した圧縮駆動型フレーム補間フレームワークを提案する。このモデルは、性能にほぼ同等のまま、詳細の保持と運動処理を向上させるためにマルチスケールワーピングモジュールで強化され、元のAdaCoFの25%のサイズにまで小さくなったが、MiddleburyでPSNRが1 dB以上上回り、最新の手法と同等またはそれを上回る精度と効率性を達成した。

ABSTRACT

DNN-based frame interpolation--that generates the intermediate frames given two consecutive frames--typically relies on heavy model architectures with a huge number of features, preventing them from being deployed on systems with limited resources, e.g., mobile devices. We propose a compression-driven network design for frame interpolation (CDFI), that leverages model pruning through sparsity-inducing optimization to significantly reduce the model size while achieving superior performance. Concretely, we first compress the recently proposed AdaCoF model and show that a 10X compressed AdaCoF performs similarly as its original counterpart; then we further improve this compressed model by introducing a multi-resolution warping module, which boosts visual consistencies with multi-level details. As a consequence, we achieve a significant performance gain with only a quarter in size compared with the original AdaCoF. Moreover, our model performs favorably against other state-of-the-arts in a broad range of datasets. Finally, the proposed compression-driven framework is generic and can be easily transferred to other DNN-based frame interpolation algorithm. Our source code is available at https://github.com/tding1/CDFI.

研究の動機と目的

• モバイルやエッジデバイスへの展開に不適切なほど巨大なDNNベースのフレーム補間モデルの非効率さと高いリソース要件を是正すること。
• 過パラメータ化された最新のSOTAモデルに、性能損なわずに圧縮可能な余剰容量が含まれているかどうかを調査すること。
• モデル圧縮を設計ガイドとして用いることで、より小さく、より効率的な性能の優れたモデルを生成する汎用的かつ転送可能なフレームワークを開発すること。
• コンパクトで圧縮されたモデルを、特にオクルージョンや細部処理に優れるように、具体的にはマルチスケールワーピングモジュールを用いたアーキテクチャ的改善で向上させること。

提案手法

• スパarsity誘導最適化を適用し、AdaCoFモデルを微調整およびプリーニングすることで、サイズを10倍に削減しながらも同等の性能を維持する。
• 入力フレームからの特徴ピラミッドを用いることで、運動の一貫性と詳細の保持を向上させるマルチスケールワーピングモジュールを導入する。
• 異なる解像度レベルからの特徴を組み合わせるパス選択メカニズムを設計し、大規模な運動と細部の両方を効果的に処理する。
• 圧縮されたモデルを軽量なバックボーンとして用い、特定のアーキテクチャ的改善を施して、元のモデルを上回る性能を実現する。
• 圧縮プロセスから得られる知見を活用し、より効率的かつ正確な最終モデルの再設計をガイドする。

実験結果

リサーチクエスチョン

• RQ1 AdaCoFのような最先端のフレーム補間モデルを大幅に圧縮したバージョンが、競争力のある性能を維持できるか。これは、元のアーキテクチャ内に顕著な冗長性が存在することを示唆する。
• RQ2 モデル圧縮プロセスが、より効率的かつ正確なモデルの設計を導くアーキテクチャ的インサイトを明らかにできるか。
• RQ3 圧縮・プリーニングされたコンパクトなモデルは、マルチスケール特徴統合のような特定のアーキテクチャ的改善によってさらなる向上が可能か。
• RQ4 提案された圧縮駆動型設計フレームワークは、他のDNNベースのフレーム補間モデルに対しても一般化可能か。

主な発見

• 10倍に圧縮されたAdaCoFモデルは、元のモデルと同等の性能を達成しており、元のモデルが顕著な冗長性を含んでいることを示している。
• 圧縮バックボーンに基づき構築された最終的なCDFIモデルは、MiddleburyデータセットでPSNR 33.45を達成し、元のAdaCoFを1 dB以上上回っているが、サイズは25%にまで削減された。
• DAVISおよびVimeo-90Kデータセットにおいて、CDFIはPSNRとSSIMの両面で最新の手法を上回るか同等の性能を示し、FLOPsとモデルサイズが著しく低い。
• マルチスケールワーピングモジュールとパス選択メカニズムにより、特にオクルージョン領域やテクスチャが豊富な領域において、元のAdaCoFよりも大規模な運動と細部の両方を効果的に処理できるようになった。
• 提案されたフレームワークは汎用的であり、AdaCoFへの成功した応用例からも、他のDNNベースのフレーム補間モデルへの転送が可能であることが示された。