[論文レビュー] Multi-bin Trainable Linear Unit for Fast Image Restoration Networks

Shuhang Gu, Radu Timofte+1 more|arXiv (Cornell University)|Jul 30, 2018

Advanced Image Processing Techniques参考文献 31被引用数 7

ひとこと要約

本稿では、計算コストを増加させることなく、深層ネットワークにおける非線形モデル化能力を向上させる新しい活性化関数であるマルチビントレーナブルリニアユニット（MTLU）を提案する。等間隔のビンにわたり区分線形近似を用いることで、MTLUはより高速で浅いネットワーク（FSRnetおよびFDnet）を可能にし、DnCNNより最大10倍速い推論速度と15倍の高速化を達成しながら、最先端のPSNRを実現する。

ABSTRACT

Tremendous advances in image restoration tasks such as denoising and super-resolution have been achieved using neural networks. Such approaches generally employ very deep architectures, large number of parameters, large receptive fields and high nonlinear modeling capacity. In order to obtain efficient and fast image restoration networks one should improve upon the above mentioned requirements. In this paper we propose a novel activation function, the multi-bin trainable linear unit (MTLU), for increasing the nonlinear modeling capacity together with lighter and shallower networks. We validate the proposed fast image restoration networks for image denoising (FDnet) and super-resolution (FSRnet) on standard benchmarks. We achieve large improvements in both memory and runtime over current state-of-the-art for comparable or better PSNR accuracies.

研究の動機と目的

• 限られた計算リソースのもとで、強力な非線形モデル化能力を備えた高速で効率的な画像復元ネットワークを設計する課題に対処すること。
• モデルの深さやパラメータ数を増加させることなく、深層学習ベースの画像超解像およびノイズ除去における速度-性能トレードオフを改善すること。
• 表現能力を向上させつつ、計算オーバーヘッドを低く保つ新しい活性化関数を開発すること。
• 標準ベンチマークで、既存の高速手法を上回る速度と精度を達成する、軽量なネットワーク（FSRnet、FDnet）を実現すること。

提案手法

• MTLUは活性化関数の空間を等間隔のビンに分割し、各ビン内で学習可能な線形関数を用いて活性化関数を近似する。
• パrameter化は近似精度に依存しないため、ビン解像度に関わらず低計算コストを保証する。
• 本手法は、超解像およびノイズ除去タスク用に、浅く軽量なネットワーク（FSRnet、FDnet）に統合される。
• 学習は大規模データセット（DIV2K、BSD68）を用い、標準的な最適化手法（Adam）を用い、学習率の減少とバッチ正則化を適用する。
• 低解像度の特徴マップを活用することで、FLOPsを増加させることなく広い有効受容 field を維持する。
• MTLUは、高速ネットワークにおけるReLUや他の活性化関数を置き換え、実行時コストを増加させることなく、より高い精度を達成可能にする。

実験結果

リサーチクエスチョン

• RQ1 新しい活性化関数が、計算コストを増加させることなく、深層ネットワークにおける非線形モデル化能力を向上させられるか？
• RQ2 MTLUは、既存の高速手法を上回る速度と精度を達成する、より高速な画像復元ネットワークを可能にするか？
• RQ3 MTLUは、浅いネットワークが、より深い最先端モデルと同等の性能を達成できるか？
• RQ4 MTLUを用いたネットワーク設計は、画像超解像およびノイズ除去における速度-精度トレードオフにどのように影響を与えるか？

主な発見

• FSRnet 7 は、Set14（×4）で26.94 dBのPSNRを達成し、推論時間がたったの3.4 msで、VDSRより10倍速く、PSNRは同等である。
• FSRnet 19 は、SRResNetと同等のPSNR（27.26 dB 対 27.01 dB）を達成しているが、Titan X Pascal GPU上で3倍速い。
• 10層のFDnetは、BSD68でσ=50の条件下で26.24 dBのPSNRを達成し、DnCNNと同等の性能を示したが、推論速度は15倍速い（5.0 ms 対 74.8 ms）。
• MTLUを用いたネットワークは、図1に示すように、実行時間の増加なしに、優れた速度-精度トレードオフを達成している。
• MTLUは、モデルの深さやパラメータ数を増加させることなく、両タスクで顕著な性能向上をもたらし、その効率性とスケーラビリティを示している。