[論文レビュー] Compressing Weight-updates for Image Artifacts Removal Neural Networks

Yat Hong Lam, Alireza Zare+5 more|arXiv (Cornell University)|May 10, 2019

Advanced Image Processing Techniques被引用数 5

ひとこと要約

本論文では、画像アーティファクト除去のためのファインチューニング中にニューラルネットワークの重み更新を圧縮する手法を提案する。圧縮に配慮した目的関数を用いることで、スパarsityと量子化に優しい更新を促進する。この手法により、従来のコ덱ビットストリームへの効率的な統合が可能となり、同等のビットレートにおける再構成品質が標準コデックスと同等またはそれ以上である。これは、ニューラルネットワーク重み更新の圧縮を画像圧縮パイプラインに統合した初の試みである。

ABSTRACT

In this paper, we present a novel approach for fine-tuning a decoder-side neural network in the context of image compression, such that the weight-updates are better compressible. At encoder side, we fine-tune a pre-trained artifact removal network on target data by using a compression objective applied on the weight-update. In particular, the compression objective encourages weight-updates which are sparse and closer to quantized values. This way, the final weight-update can be compressed more efficiently by pruning and quantization, and can be included into the encoded bitstream together with the image bitstream of a traditional codec. We show that this approach achieves reconstruction quality which is on-par or slightly superior to a traditional codec, at comparable bitrates. To our knowledge, this is the first attempt to combine image compression and neural network's weight update compression.

研究の動機と目的

• 画像圧縮パイプラインにおける完全なニューラルネットワーク重み更新の送信の非効率性を解消すること。
• ファインチューニング中にスパarsityと量子化互換性を促進することで、モデル更新の圧縮性を向上させること。
• 再構成品質を損なわずに、圧縮された重み更新を標準画像コデックスビットストリームに統合できること。
• エンドツーエンドの画像再構成を実現するため、ニューラルネットワークファインチューニングと圧縮目的を共同で設計する可能性を検討すること。

提案手法

• 重み更新の圧縮性を高めるために、デコーダ側のニューラルネットワークのファインチューニング中に圧縮目的関数を適用する。
• 目的関数により、重み更新におけるスパarsityが促進され、量子化レベルに近い値が強調され、圧縮性が向上する。
• その後、重み更新がプルーニングおよび量子化され、メイン画像ビットストリームへの効率的な符号化が可能になる。
• 従来の画像コデックスパイプラインに統合され、画像データと圧縮された重み更新が同時に送信される。
• 高品質な再構成忠実度を維持しつつ、更新サイズを最小限に抑えるために、事前学習済みのアーティファクト除去ネットワークを活用する。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングされたニューラルネットワークからの重み更新を、専用のトレーニング目的関数によってより圧縮可能にすることができるか？
• RQ2 圧縮に配慮したファインチューニングは、標準コデックスと比較して画像再構成品質にどのように影響するか？
• RQ3 圧縮された重み更新を従来の画像ビットストリームにどの程度効率的に埋め込むことができるか？
• RQ4 モデル更新の圧縮性と画像再構成忠実度の間にトレードオフが生じるか？

主な発見

• 提案手法は、同等のビットレートにおいて、従来のコデックスと同等またはわずかに優れた画像再構成品質を達成した。
• 圧縮目的関数によって誘発されたスパarsityと量子化整合性のおかげで、重み更新は著しく圧縮可能となった。
• メインビットストリームへの圧縮済み重み更新の統合は実現可能であり、エンドツーエンドの圧縮効率を維持した。
• 本手法は、統一されたパイプライン内でニューラルネットワーク重み更新の圧縮と画像圧縮を同時に最適化する、最初の知られている試みである。