[논문 리뷰] Statistical theory for image classification using deep convolutional neural networks with cross-entropy loss under the hierarchical max-pooling model

Michael Köhler, Sophie Langer|arXiv (Cornell University)|2020. 11. 27.

Neural Networks and Applications참고 문헌 30인용 수 11

한 줄 요약

이 논문은 이미지 분류에서 교차 엔트로피 손실을 사용하는 딥 컨volution 신경망(DCNN)에 대한 통계 이론을 수립하며, 사후 확률에 대한 부드러움과 구조적 가정 하에서 오분류 위험이 이미지 차원에 영향을 받지 않는 속도로 수렴함을 증명한다. 핵심 결과는 CNN이 치수 감소를 달성함으로써 고차원 입력에도 불구하고 경험적으로 성공할 수 있음을 설명한다.

ABSTRACT

Convolutional neural networks (CNNs) trained with cross-entropy loss have proven to be extremely successful in classifying images. In recent years, much work has been done to also improve the theoretical understanding of neural networks. Nevertheless, it seems limited when these networks are trained with cross-entropy loss, mainly because of the unboundedness of the target function. In this paper, we aim to fill this gap by analyzing the rate of the excess risk of a CNN classifier trained by cross-entropy loss. Under suitable assumptions on the smoothness and structure of the a posteriori probability, it is shown that these classifiers achieve a rate of convergence which is independent of the dimension of the image. These rates are in line with the practical observations about CNNs.

연구 동기 및 목표

• 이미지 분류에서 교차 엔트로피 손실을 사용하는 딥 CNN에 대한 통계 이론의 격차를 메우기 위해.
• 사후 확률에 대한 현실적인 구조적 가정 하에서 오분류 위험의 수렴 속도를 분석하기 위해.
• 교차 엔트로피 손실을 사용하는 CNN이 치수 감소를 달성하여 치수의 고통을 피하는 것을 보여주기 위해.
• 실제 이미지 분류 작업에서 CNN의 뛰어난 경험적 성능에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 연구는 입력 이미지가 [0,1]^{d1×d2}에 속하고 레이블이 {−1,1}에 속하는 이진 분류 문제로 이미지 분류를 모델링한다.
• 0/1 손실의 대체로 교차 엔트로피 손실을 사용하며, 이는 최적의 결정 경계를 보장하기 위해 피셔 일致성(fisher consistency)을 활용한다.
• 계층적 최대 풀링 CNN 아키텍처를 구성하며, 두 종류의 네트워크를 조합한다: 하나는 L_n^{(1)}층으로 함수 g_{k,s}를 오차 O((L_n^{(1)})^{-2p/4}) 정도로 근사하고, 다른 하나는 L_n^{(2)}층으로 로그 오즈 함수 f_φ*를 근사한다.
• 집중 불등식과 근사 보조정리(Lemmas 6, 7, 8, 9)를 사용하여 기대 위험와 경험 위험 간의 차이를 통제하는 이론적 경계를 유도한다.
• 최종 수렴 속도는 사슬 논법(chainning argument)을 통해 근사 오차와 추정 오차 경계를 조합함으로써 확립되며, 속도는 O((log n)^2 · n^{-min{p/(2p+4), 1/4}})가 된다.
• 분석은 사후 확률 η(x)의 부드러움과 구조적 성질에 기반하며, 특히 부드러움 파라미터 p를 가진 헬더 클래스(Hölder class)에 속한다고 가정한다.

실험 결과

연구 질문

• RQ1 교차 엔트로피 손실을 사용하는 딥 CNN이 이미지 차원에 영향을 받지 않는 오분류 위험 수렴 속도를 달성할 수 있는가?
• RQ2 사후 확률 η(x)에 대해 어떤 구조적 가정 하에 치수의 고통이 CNN 성능에 영향을 주지 않는가?
• RQ3 CNN의 계층적 최대 풀링 구조는 통계 추정에서 치수 감소에 어떻게 기여하는가?
• RQ4 부드러움 조건 하에서 교차 엔트로피 손실을 사용하는 CNN의 오분류 위험 이론적 수렴 속도는 무엇인가?

주요 결과

• 교차 엔트로피 손실을 사용하는 CNN의 오분류 위험은 이미지 차원 d1×d2에 영향을 받지 않는 속도인 O((log n)^2 · n^{-min{p/(2p+4), 1/4}})로 수렴한다.
• 이 속도는 사후 확률 η(x)가 부드러움 파라미터 p ≥ 1인 헬더 연속성에 속한다고 가정할 때 달성된다.
• 이론적 분석은 CNN이 계층적 최대 풀링 구조와 인덕티브 바이어스 덕분에 치수의 고통을 피함을 확인한다.
• 수렴 속도는 네트워크 깊이에 기인한 근사 오차와 학습 샘플 크기에 기인한 추정 오차를 균형 잡는 방식으로 유도되며, 최적의 트레이드오프가 제시된 속도를 도출한다.
• 이 결과는 부드러운 구조를 가진 데이터에서 CNN의 경험적 성공에 대한 통계적 기반을 제공한다.