[論文レビュー] Scaling Laws For Deep Learning Based Image Reconstruction

Tobit Klug, Reinhard Heckel|arXiv (Cornell University)|Sep 27, 2022

Photoacoustic and Ultrasonic Imaging被引用数 22

ひとこと要約

本論文は、深層学習モデルのスケーリング特性が画像再構成性能に与える影響を調査し、実用的なスケーリング傾向とガイドラインを確立することを目的としています。

ABSTRACT

Deep neural networks trained end-to-end to map a measurement of a (noisy) image to a clean image perform excellent for a variety of linear inverse problems. Current methods are only trained on a few hundreds or thousands of images as opposed to the millions of examples deep networks are trained on in other domains. In this work, we study whether major performance gains are expected from scaling up the training set size. We consider image denoising, accelerated magnetic resonance imaging, and super-resolution and empirically determine the reconstruction quality as a function of training set size, while simultaneously scaling the network size. For all three tasks we find that an initially steep power-law scaling slows significantly already at moderate training set sizes. Interpolating those scaling laws suggests that even training on millions of images would not significantly improve performance. To understand the expected behavior, we analytically characterize the performance of a linear estimator learned with early stopped gradient descent. The result formalizes the intuition that once the error induced by learning the signal model is small relative to the error floor, more training examples do not improve performance.

研究の動機と目的

• 深層学習モデルにおけるスケーリングが画像再構成品質に与える影響に対処することによって、研究の動機づけを行う。
• 再構成タスクのためのモデル設計とデータ要件を導くために、経験的なスケーリング傾向を特徴づける。
• 再構成の結果を改善するために、モデル容量を増加すべき時期やデータを増やすべき時期を示唆する実用的な洞察を提供する。

提案手法

• 画像再構成タスクに適用される深層学習モデルのスケーリング挙動を調査または分析する。
• モデルサイズ、データ入手性、最適化ダイナミクスなど、スケーリングに影響を与える主要な要因を特定し議論する。
• 再構築システムを設計する実務家のための実践的ガイドラインへ所見を統合する。

実験結果

リサーチクエスチョン

• RQ1 モデル容量の変化が深層学習フレームワークにおける画像再構成性能にどのように影響するか？
• RQ2 再構成タスクにおけるスケーリング挙動に対する訓練データの量と質の影響は何か？
• RQ3 画像再構成問題においてモデルサイズとデータ割り当てを選択する際に導き出せる実用的なガイドラインは何か？
• RQ4 再構成目的のためにモデルをスケールさせるとき、パフォーマンスの逓減効果やレジームの変化はあるか？

主な発見

• モデルサイズと再構成品質を予測可能な方法で関連づけるスケーリング傾向が現れる。
• データ入手性と最適化の選択が、増加した能力が性能向上にどれだけ効果的に結びつくかに影響する。
• 再構成タスクのために、モデル容量をスケールすべきか、より多くのデータを収集すべきかを判断するガイドラインを形成できる。
• 特定の再構成設定下では、スケーリングによる利点に実用的な限界やレジームシフトが生じる可能性がある。