[논문 리뷰] Evaluating State-of-the-Art Classification Models Against Bayes Optimality

Ryan Theisen, Huan Wang외 3명|arXiv (Cornell University)|2021. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 7

한 줄 요약

이 논문은 정규화 흐름(normalizing flows)을 활용하고 일대일 변환에 대한 베이즈 오차의 불변성(invariance)을 이용하여 최신 분류 모델의 정확한 베이즈 오차를 계산하는 방법을 제안한다. 벤치마크 데이터셋에서 흐름 모델을 훈련하고 온도를 다양하게 조절함으로써, 제어 가능한 베이즈 오차를 가진 합성 데이터셋을 생성한 결과, 최신 모델들은 일부 작업에서는 거의 최적에 가까운 성능을 달성하지만 모든 작업에서 그렇지는 않음을 밝혀내었으며, 이는 모델 평가 및 데이터셋의 어려움 평가를 위한 절대 기준을 제공한다.

ABSTRACT

Evaluating the inherent difficulty of a given data-driven classification problem is important for establishing absolute benchmarks and evaluating progress in the field. To this end, a natural quantity to consider is the \emph{Bayes error}, which measures the optimal classification error theoretically achievable for a given data distribution. While generally an intractable quantity, we show that we can compute the exact Bayes error of generative models learned using normalizing flows. Our technique relies on a fundamental result, which states that the Bayes error is invariant under invertible transformation. Therefore, we can compute the exact Bayes error of the learned flow models by computing it for Gaussian base distributions, which can be done efficiently using Holmes-Diaconis-Ross integration. Moreover, we show that by varying the temperature of the learned flow models, we can generate synthetic datasets that closely resemble standard benchmark datasets, but with almost any desired Bayes error. We use our approach to conduct a thorough investigation of state-of-the-art classification models, and find that in some -- but not all -- cases, these models are capable of obtaining accuracy very near optimal. Finally, we use our method to evaluate the intrinsic "hardness" of standard benchmark datasets, and classes within those datasets.

연구 동기 및 목표

• 이론적으로 최적의 오차(베이즈 오차)를 계산하여 분류 모델 성능에 대한 절대 기준을 설정함으로써 상대적 비교에 의존하지 않도록 하는 것.
• 실세계 고차원 데이터셋에서 베이즈 오차를 계산하는 데 어려움이 있음을 해결하기 위해 진짜 데이터 분포를 정규화 흐름으로 근사하는 것.
• 기존 벤치마크의 스타일과 구조를 유사하게 유지하면서 알려진, 조절 가능한 베이즈 오차를 가진 합성 데이터셋을 제어적으로 생성할 수 있도록 하는 것.
• 흐름 기반 모델을 사용하여 각 클래스의 베이즈 오차를 추정함으로써 분류 작업과 개별 클래스의 본질적 어려움을 평가하는 것.
• 다양한 벤치마크 데이터셋에서 최신 모델이 이론적 성능 한계에 얼마나 가까이 도달하는지 조사하는 것.

제안 방법

• 데이터 공간에서 표준 정규 기저 분포로의 일대일, 전단사 변환을 학습하기 위해 정규화 흐름을 사용하여, 변환된 공간에서 정확한 베이즈 오차를 계산할 수 있도록 하는 것.
• 일대일 변환에 대한 베이즈 오차의 불변성을 활용하여, 원래 데이터 분포의 베이즈 오차가 잠재 공간의 학습된 가우시안 혼합 분포의 오차와 동일함을 보장하는 것.
• 잠재 공간의 가우시안 클래스 조건부 분포에 대해 정확한 베이즈 오차를 효율적으로 계산하기 위해 Holmes-Diaconis-Ross 통합을 적용하는 것.
• 훈련된 흐름 모델의 온도를 조절하여 합성 데이터셋의 베이즈 오차를 제어함으로써, 데이터 분포적 특성을 유지하면서 어려움 수준를 체계적으로 변화시킬 수 있도록 하는 것.
• 음성 클래스가 가우시안 혼합 분포인 one-vs-all 분류 작업에 대해 몬테카를로 추정을 사용하여, 각 클래스의 어려움 분석을 가능하게 하는 것.
• 표준 데이터셋(예: CIFAR-10, EMNIST)에서 흐름 모델을 훈련하고, 이를 사용하여 알려진 베이즈 오차를 가진 합성 데이터를 생성하여 평가에 활용하는 것.

실험 결과

연구 질문

• RQ1 표준 벤치마크 데이터셋에서 최신 분류 모델은 이론적 최적 오차(베이즈 오차)에 얼마나 가까이 도달하는가?
• RQ2 실제 벤치마크 데이터셋과 분포와 구조가 유사한, 제어 가능하고 알려진 베이즈 오차를 가진 합성 데이터셋을 생성할 수 있는가?
• RQ3 각 클래스의 본질적 어려움은 one-vs-all 베이즈 오차로 측정했을 때 어떻게 되는가?
• RQ4 진짜 데이터 분포의 베이즈 오차와 흐름으로 근사한 분포의 오차는 어떻게 비교되며, 이는 벤치마크에 어떤 영향을 미치는가?
• RQ5 최신 모델의 성능는 데이터 분포의 본질적 한계에 얼마나 가까이 도달하는가?

주요 결과

• CIFAR-10의 베이즈 오차는 1.64e-1로 추정되었으며, EMNIST(byclass)는 2.40e-1로 추정되었고, 최신 모델은 이 두 데이터셋에서 거의 최적의 정확도를 달성하였다.
• CIFAR-100에서는 가장 어려운 클래스(squirrel)의 베이즈 오차가 가장 쉬운 클래스(wardrobe)의 약 5배에 이르며, 클래스 간 본질적 어려움의 다양성이 뚜렷하게 드러났다.
• 최신 모델의 성능가 베이즈 오차 추정치와 높은 일치를 보이며, 이 방법이 모델 평가에 대한 신뢰할 수 있는 절대 기준을 제공한다는 것을 시사한다.
• 흐름 모델의 온도를 다양하게 조절함으로써, 넓은 범위의 베이즈 오차를 가진 합성 데이터셋을 성공적으로 생성하여, 다양한 어려움 수준에서의 모델 행동을 제어적으로 연구할 수 있었다.
• 이 방법은 일부 모델이 거의 최적의 성능을 달성하고 있음에도 불구하고, 여전히 최신 모델과 최적 성능 사이에 의미 있는 격차가 존재하는 작업과 클래스가 있음을 드러내었으며, 향후 향상 여지가 있음을 시사한다.
• 이 접근법은 다양한 어려움 수준의 무한한 합성 데이터를 생성할 수 있는 훈련된 흐름 모델 라이브러리를 구축할 수 있게 하여, 강건성 테스트 및 비의도적인 상관관계 감소에 유용하다.