[논문 리뷰] Algorithmic progress in computer vision

Ege Erdil, Tamay Besiroglu|arXiv (Cornell University)|2022. 12. 10.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 논문은 신경 스케일링 법칙을 기반으로 한 모델과 셰플리 값 할당을 사용하여 ImageNet 이미지 분류 성능 향상 요인을 알고리즘적 개선, 컴퓨팅 확장, 데이터 확장으로 분해한다. 연구 결과에 따르면, 주로 컴퓨팅을 보완하는 혁신들로 구성된 알고리즘적 발전이 컴퓨팅 확장과 동일한 기여를 하였으며, 이러한 혁신들은 매 9개월마다 필요한 컴퓨팅을 반으로 줄이고 있다 (95% 신뢰구간: 4–25개월), 이는 무어의 법칙을 초월한다.

ABSTRACT

We investigate algorithmic progress in image classification on ImageNet, perhaps the most well-known test bed for computer vision. We estimate a model, informed by work on neural scaling laws, and infer a decomposition of progress into the scaling of compute, data, and algorithms. Using Shapley values to attribute performance improvements, we find that algorithmic improvements have been roughly as important as the scaling of compute for progress computer vision. Our estimates indicate that algorithmic innovations mostly take the form of compute-augmenting algorithmic advances (which enable researchers to get better performance from less compute), not data-augmenting algorithmic advances. We find that compute-augmenting algorithmic advances are made at a pace more than twice as fast as the rate usually associated with Moore's law. In particular, we estimate that compute-augmenting innovations halve compute requirements every nine months (95\% confidence interval: 4 to 25 months).

연구 동기 및 목표

• 이미지 분류 성능 향상 요인을 알고리즘적 개선, 컴퓨팅 확장, 데이터 확장으로 분해하기.
• 컴퓨터 비전 모델의 발전에 있어 알고리즘적 진보와 하드웨어, 데이터 확장의 상대적 중요도를 규명하기.
• 데이터 보강형과 컴퓨팅 보강형 알고리즘적 혁신을 구분하고 각각의 영향을 정량화하기.
• 고정된 성능 수준을 달성하기 위한 컴퓨팅 요구량 감소 속도를 측정하여 알고리즘 혁신 속도를 추정하기.
• 로그-오즈 공간 분석 및 파레토 경계 예측의 모델 외삽 위험을 고려한 복수의 타당성 검증 수행하기.

제안 방법

• 신경 스케일링 법칙에 기반한 성능 모델을 개발하여 연도, 데이터 크기, 컴퓨팅을 예측 변수로 사용해 모델 정확도를 예측한다.
• 셰플리 값 분해를 적용하여 성능 향상 요인을 알고리즘적 진보, 컴퓨팅 확장, 데이터 확장으로 할당한다.
• 마진 기여 분석을 사용하여 알고리즘적 진보를 컴퓨팅 보강형과 데이터 보강형으로 분리한다.
• 고정된 성능 수준을 달성하기 위한 컴퓨팅 요구량 감소 속도를 측정하여 알고리즘 혁신 속도를 추정한다.
• 로그-오즈 공간 분해를 사용한 타당성 검증 및 파레토 경계 예측에서의 모델 외삽 위험 평가를 수행한다.
• AlexNet부터 비전 트랜스포머까지 총 15종의 인기 있는 컴퓨터 비전 모델을 포함한 정제된 데이터셋을 사용하여 성능, 컴퓨팅, 데이터 지표를 확보한다.

실험 결과

연구 질문

• RQ1 ImageNet 이미지 분류 성능 향상의 어느 정도가 알고리즘적 개선과 컴퓨팅 및 데이터 확장에 기인하는가?
• RQ2 알고리즘적 진보의 어느 정도가 컴퓨팅을 보완하는가 (같은 성능를 위해 더 적은 컴퓨팅으로 달성 가능) 또는 데이터를 보완하는가 (더 많은 데이터로 더 좋은 성능 달성 가능) ?
• RQ3 컴퓨팅을 보완하는 알고리즘적 혁신은 얼마나 빠르게 진행되고 있으며, 이는 무어의 법칙과 어떻게 비교되는가?
• RQ4 알고리즘적 개선의 영향은 컴퓨팅 제약이 있는 모델과 데이터 제약이 있는 모델에서 다를까?
• RQ5 로그-오즈 공간과 같은 다른 척도 공간으로의 변환에 대해 분해 결과가 탄력적인가?

주요 결과

• 알고리즘적 개선이 ImageNet 이미지 분류 성능 향상에 기여한 정도가 컴퓨팅 확장과 거의 동일하다.
• 컴퓨팅을 보완하는 알고리즘적 혁신—즉, 동일한 성능를 달성하기 위한 컴퓨팅 요구량을 줄이는 혁신—이 알고리즘적 진보의 대부분을 차지한다.
• 컴퓨팅을 보완하는 알고리즘 혁신 속도는 무어의 법칙의 두 배 이상이며, 컴퓨팅 요구량이 매 9개월마다 반으로 줄어든다 (95% 신뢰구간: 4~25개월).
• 반면, 데이터를 보완하는 알고리즘적 혁신은 총 알고리즘적 진보의 소수에 불과하며, 다양한 모델 비교에서 기여 비율은 4.5%에서 6.8% 사이이다.
• 컴퓨팅 제약이 있는 모델에서는 알고리즘적 개선의 영향력이 데이터 제약이 있는 모델보다 뚜렷하게 더 크며, 이는 컴퓨팅 제약 상황에서 더 강력한 영향력을 발휘함을 시사한다.
• 로그-오즈 공간 분해를 통한 타당성 검증 결과, 핵심 발견—특히 컴퓨팅을 보완하는 혁신의 지배적 영향—이 다른 척도 체계에서도 유지됨을 확인하였다.