[論文レビュー] Efficient Super Resolution Using Binarized Neural Network

Yinglan Ma, Hongyu Xiong+2 more|arXiv (Cornell University)|Dec 16, 2018

Advanced Image Processing Techniques被引用数 5

ひとこと要約

この論文は、スーパーレゾリューション（SR）ネットワークのための新しいバイナリゼーション戦略を提案する。この戦略では、残差ブロックにのみバイナリ重みを適用し、学習可能なスケーリング係数を導入することで、画像品質の損失を最小限に抑えつつ、最大80%のモデルサイズ削減と5倍の推論速度向上を達成する。本手法は、重要なコンponentsを特定的にバイナリ化することでピクセルレベルの精度を維持し、モバイルおよびエッジデバイスへの最新のSRモデルの効率的デプロイを可能にする。

ABSTRACT

Deep convolutional neural networks (DCNNs) have recently demonstrated high-quality results in single-image super-resolution (SR). DCNNs often suffer from over-parametrization and large amounts of redundancy, which results in inefficient inference and high memory usage, preventing massive applications on mobile devices. As a way to significantly reduce model size and computation time, binarized neural network has only been shown to excel on semantic-level tasks such as image classification and recognition. However, little effort of network quantization has been spent on image enhancement tasks like SR, as network quantization is usually assumed to sacrifice pixel-level accuracy. In this work, we explore an network-binarization approach for SR tasks without sacrificing much reconstruction accuracy. To achieve this, we binarize the convolutional filters in only residual blocks, and adopt a learnable weight for each binary filter. We evaluate this idea on several state-of-the-art DCNN-based architectures, and show that binarized SR networks achieve comparable qualitative and quantitative results as their real-weight counterparts. Moreover, the proposed binarized strategy could help reduce model size by 80% when applying on SRResNet, and could potentially speed up inference by 5 times.

研究の動機と目的

• 単一画像スーパーレゾリューション（SR）タスクにおける深層畳み込みニューラルネットワーク（DCNN）の非効率さと高いメモリ使用量を解消すること。
• これまでセマンティックタスクでのみ有効であったネットワークバイナリゼーションが、再構成精度を損なわず、ピクセルレベルの画像強化タスク（例：SR）に適用可能かどうかを調査すること。
• 残差ブロックにのみターゲットを絞め、学習可能なスケーリング係数を導入することで、高周波数ディテールの復元を維持する選択的バイナリゼーション戦略を設計すること。
• モデルサイズと計算コストを削減することで、高性能なSRモデルをモバイルおよびエッジデバイスに実用的にデプロイ可能にする。

提案手法

• ネットワーク全体ではなく、残差ブロック内の畳み込みフィルタにのみバイナリゼーションを適用することで、性能を維持しつつ複雑さを低減する。
• 各バイナリフィルタに対して学習可能なスカラー重みを導入し、表現能力を維持し、精度の損失を緩和する。
• 一般化性を評価するため、SRResNet、SRGAN、LapSRNなどの最新SRアーキテクチャにこのバイナリゼーション戦略を適用する。
• 推論時に浮動小数点乗算の代わりにビット単位の演算を用いることで、計算コストを顕著に削減する。
• 勾配統計と残差ブロック構造を活用して、高周波数ディテール回復に最も関連するコンponentsに焦点を当てた選択的バイナリゼーションの妥当性を裏付ける。
• 標準ベンチマーク（Set5、Set14）を用いた定量的評価とユーザースタディを実施し、バイナリ化済みモデルと実数重みモデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルの画像修復タスク（例：スーパーレゾリューション）にネットワークバイナリゼーションを効果的に適用できるか。この際、顕著な精度低下が生じないか？
• RQ2 ネットワーク全体ではなく残差ブロックのみをバイナリ化することで、SRネットワークにおける顕著なモデル圧縮と速度向上が達成可能か？
• RQ3 各バイナリフィルタに学習可能なスケーリング係数を導入することで、バイナリ化されたSRモデルの再構成品質にどのような影響を与えるか？
• RQ4 バイナリ化されたSRネットワークは、フル精度モデルと比較して、どれほど高い知覚的および定量的性能を維持できるか？

主な発見

• 提案されたバイナリゼーション戦略により、SRResNetに適用した場合、最大80%のモデルサイズ削減が達成され、ストレージ効率が著しく向上した。
• SRResNet(2x)モデルでは、浮動小数点乗算をビット単位の演算に置き換えることで、推論速度が最大5倍向上した。
• ユーザースタディの結果、バイナリ化済みモデルと実数重みモデルの間で知覚的品質に顕著な差は認められず、2×および4×SRタスクでは50–60%のユーザーがバイナリ化結果を好んだ。
• PSNRやSSIMといった定量的指標において、バイナリ化済みモデルとフル精度モデルの間で同等の性能が確認され、精度損失が最小限であることが裏付けられた。
• SRResNet、SRGAN、LapSRNなど複数のアーキテクチャにわたり、本手法が強い性能を維持しており、一般化可能性が示された。
• 残差ブロックのバイナリゼーションのみで高周波数ディテールを十分に保持できることを、勾配ヒストグラム分析とさまざまなアップスケーリング要因における性能安定性から裏付けた。