[論文レビュー] Algorithmic progress in computer vision

Ege Erdil, Tamay Besiroglu|arXiv (Cornell University)|Dec 10, 2022

Machine Learning and Data Classification被引用数 7

ひとこと要約

この論文は、ニューラルスケーリング法則に基づいたモデルとシャープリー値帰属分析を用いて、ImageNet画像分類における性能向上要因をアルゴリズム的改善、計算リソーススケーリング、データスケーリングに分解する。その結果、主に計算リソースを増強する革新を伴うアルゴリズム的進歩が、計算リソーススケーリングと同等の貢献を果たしており、計算リソースの必要量が9か月ごとに半減している（95%信頼区間：4〜25か月）ことが判明。これはムーアの法則を上回る速度である。

ABSTRACT

We investigate algorithmic progress in image classification on ImageNet, perhaps the most well-known test bed for computer vision. We estimate a model, informed by work on neural scaling laws, and infer a decomposition of progress into the scaling of compute, data, and algorithms. Using Shapley values to attribute performance improvements, we find that algorithmic improvements have been roughly as important as the scaling of compute for progress computer vision. Our estimates indicate that algorithmic innovations mostly take the form of compute-augmenting algorithmic advances (which enable researchers to get better performance from less compute), not data-augmenting algorithmic advances. We find that compute-augmenting algorithmic advances are made at a pace more than twice as fast as the rate usually associated with Moore's law. In particular, we estimate that compute-augmenting innovations halve compute requirements every nine months (95\% confidence interval: 4 to 25 months).

研究の動機と目的

• ImageNet画像分類における性能向上要因を、アルゴリズム的改善、計算リソーススケーリング、データスケーリングに分解すること。
• コンピュータビジョンモデルの進歩において、アルゴリズム的進歩とハードウェア・データスケーリングの相対的重みを特定すること。
• データ増強型と計算リソース増強型のアルゴリズム的革新を区別し、それぞれの影響を定量すること。
• 固定された性能水準を達成するために必要な計算リソースの必要量がどのくらいの速さで減少するかを測定することで、アルゴリズム的革新の速度を推定すること。
• ロバストネスチェック（対数オッズ空間での分析、パレート前線予測におけるモデル外挿の懸念）を用いて結果を検証すること。

提案手法

• ニューラルスケーリング法則を踏まえた性能モデルを開発し、年、データサイズ、計算リソースを予測変数として、モデルの正確性を予測する。
• シャープリー値分解を適用し、性能向上をアルゴリズム的進歩、計算リソーススケーリング、データスケーリングに帰属づける。
• 限界寄与分析を用いて、アルゴリズム的進歩を計算リソース増強型とデータ増強型に分離する。
• 固定された性能水準を達成するために必要な計算リソースの必要量の半減期間（半減期）を測定することで、アルゴリズム的革新の速度を推定する。
• 対数オッズ空間での分解とパレート前線予測におけるモデル外挿リスクの評価を通じて、結果の妥当性を検証する。
• AlexNetからVision Transformersに至る15の代表的コンピュータビジョンモデルからなる、パフォーマンス、計算リソース、データ指標を含むキュレート済みデータセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 ImageNet画像分類における進歩のうち、どれくらいがアルゴリズム的改善、どれくらいが計算リソースやデータのスケーリングに起因するか？
• RQ2 アルゴリズム的進歩のうち、どれくらいが計算リソースを増強する（同じ性能をより少ない計算リソースで達成可能にする）革新であり、どれくらいがデータを増強する（より多くのデータでより良い性能を達成可能にする）革新か？
• RQ3 計算リソースを増強するアルゴリズム的革新はどのくらいの速さで進展しており、ムーアの法則と比べてどうか？
• RQ4 アルゴリズム的改善の影響は、計算リソースが制限されているモデルとデータが制限されているモデルで異なるか？
• RQ5 対数オッズ空間などの代替の指標空間に切り替えた場合、分解結果はロバストか？

主な発見

• アルゴリズム的改善がImageNet画像分類における性能向上に与えた貢献は、計算リソーススケーリングとほぼ同等である。
• 計算リソースを増強するアルゴリズム的進歩（ある性能水準を達成するために必要な計算リソースを減らす革新）が、アルゴリズム的進歩全体の大部分を占めている。
• 計算リソースを増強するアルゴリズム的革新の速度はムーアの法則の2倍以上であり、必要な計算リソースが9か月ごとに半減している（95%信頼区間：4〜25か月）。
• 一方、データを増強するアルゴリズム的進歩は、合計のアルゴリズム的進歩に占める割合がわずかで、モデル比較の結果では4.5%から6.8%の範囲にとどまっている。
• アルゴリズム的改善の影響は、計算リソースが制限されているモデルにおいて、データが制限されているモデルよりも顕著に強く、計算リソースが制限されている状況での利得が顕著である。
• 対数オッズ空間での分解によるロバストネスチェックにより、特に計算リソースを増強する革新の優位性という主な発見が、代替の指標定式に対しても成立することが確認された。