[논문 리뷰] Benchmarks for Image Classification and Other High-dimensional Pattern Recognition Problems

Tarun Yellamraju, Jonas Hepp외 1명|arXiv (Cornell University)|2018. 06. 13.

Machine Learning and Algorithms참고 문헌 15인용 수 3

한 줄 요약

이 논문은 오차와 계산 비용의 상호 교환 관계를 사용하여 고차원 패턴 인식 문제의 어려움을 평가하기 위한 벤치마크 프레임워크를 제안한다. 랜덤 프로젝션 기반 휴리스틱을 도입하여 분류 오차의 상한선을 생성하며, 이 상한선은 베이즈 오차로 점 渐진수렴하여, 고도로 발전된 방법이 단순한 휴리스틱보다 구조적 우월성이 없을 문제를 식별할 수 있다.

ABSTRACT

A good classification method should yield more accurate results than simple heuristics. But there are classification problems, especially high-dimensional ones like the ones based on image/video data, for which simple heuristics can work quite accurately; the structure of the data in such problems is easy to uncover without any sophisticated or computationally expensive method. On the other hand, some problems have a structure that can only be found with sophisticated pattern recognition methods. We are interested in quantifying the difficulty of a given high-dimensional pattern recognition problem. We consider the case where the patterns come from two pre-determined classes and where the objects are represented by points in a high-dimensional vector space. However, the framework we propose is extendable to an arbitrarily large number of classes. We propose classification benchmarks based on simple random projection heuristics. Our benchmarks are 2D curves parameterized by the classification error and computational cost of these simple heuristics. Each curve divides the plane into a "positive- gain" and a "negative-gain" region. The latter contains methods that are ill-suited for the given classification problem. The former is divided into two by the curve asymptote; methods that lie in the small region under the curve but right of the asymptote merely provide a computational gain but no structural advantage over the random heuristics. We prove that the curve asymptotes are optimal (i.e. at Bayes error) in some cases, and thus no sophisticated method can provide a structural advantage over the random heuristics. Such classification problems, an example of which we present in our numerical experiments, provide poor ground for testing new pattern classification methods.

연구 동기 및 목표

• 고차원 패턴 인식 문제의 어려움을 정량화하는 것, 특히 영상 및 비디오 데이터에서의 어려움을 대상으로 한다.
• 고도로 발전된 분류 방법이 단순한 휴리스틱보다 구조적 우월성을 가지는지 체계적으로 평가할 수 있는 방법을 개발하는 것.
• 분류 문제가 너무 쉬워서 단순한 랜덤 프로젝션 휴리스틱이 이미 근사 최적 성능을 달성하는 경우를 식별하여, 새로운 방법을 테스트하기에 부적합한 문제임을 밝혀내는 것.
• 계산적 이점 뿐 아니라 구조적 개선을 제공하는지 여부를 분간할 수 있는 시각적 및 분석적 기준 평면을 제공하는 것.
• 내재된 데이터 구조와 클래스 간 분리 가능성의 평가를 통해 연구자들이 새로운 패턴 인식 알고리즘을 테스트할 적절한 데이터셋을 선택하는 데 도움을 주는 것.

제안 방법

• 고차원 데이터의 일차원 랜덤 프로젝션을 사용하여 분류 오차의 상한선 시퀀스를 구성한다.
• 각 상한선을 계산 비용(예: 프로젝션 수 또는 결정 트리의 레벨 수)으로 매개변수화하여 오차-비용 평면상의 교환 곡선을 생성한다.
• 단조 감소하는 상한선을 사용하여 신뢰성과 증가하는 프로젝션 수에 따라 베이즈 오차로 수렴하도록 보장한다.
• 각 곡선의 점 渐진수렴값(이론적 최소 오차, 즉 베이즈 오차)을 추정하고, 특정 조건 하에서 최적성의 증명을 수행한다.
• 곡선이 평면을 '이득이 있는 영역'(곡선의 왼쪽)과 '이득이 없는 영역'(곡선의 오른쪽)으로 나누는 방식으로 벤치마크 평면을 시각화하여 방법의 적합성을 평가한다.
• 카르누엔-로브 계수를 사용하여 실제 데이터셋(MFEAT, 보행자 검출 등)에 프레임워크를 적용하고, 딥 네트워크(DNNs) 및 서포트 벡터 머신(SVMs)과 같은 최첨단 방법과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 복잡한 모델에 의존하지 않고도 고차원 패턴 인식 문제의 어려움을 객관적으로 정량화할 수 있는 방법은 무엇인가?
• RQ2 실제 데이터셋에서 단순한 랜덤 프로젝션 휴리스틱이 베이즈 오차에 얼마나 가까운 성능을 달성할 수 있는가?
• RQ3 딥 네트워크나 SVM과 같은 고도로 발전된 방법이 기본 휴리스틱보다 구조적 우월성을 보이는 경우는 언제인가?
• RQ4 내재된 데이터 구조가 너무 쉽게 드러나서 고급 방법이 불필요하거나 심지어 역효과를 낼 수 있는 데이터셋은 어떤 경우인가?
• RQ5 통합된 벤치마크 프레임워크를 통해 계산적 비효율성과 구조적 우월성의 부재를 어떻게 구분할 수 있는가?

주요 결과

• 제안된 벤치마크 곡선의 점 渐진수렴값은 특정 조건에서 베이즈 오차로 수렴함을 입증하여, 이 프레임워크가 분류 오차의 이론적 하한선을 식별함을 보여준다.
• 짝수-홀수 숫자 분류 문제에서 점 渐진수렴값은 약 10%로 추정되었으며, 이는 데이터 구조가 비트리비얼하여 최적 성능을 달성하기 위해 고도로 발전된 방법이 필요함을 시사한다.
• 딥 네트워크는 벤치마크 점 渐진수렴값인 약 10%의 오차를 1.4%로 감소시켜 이 경우에서 7배 이상의 구조적 개선을 보였다.
• 보행자 검출 문제에서는 테스트된 모든 방법(DNNs, SVMs 포함)이 이득이 있는 영역에 포함되지 않았으며, 이는 랜덤 프로젝션을 통해 데이터 구조가 쉽게 드러남을 의미한다. 따라서 이 문제는 고급 방법을 테스트하기에 너무 단순하다.
• 이 프레임워크는 일반적으로 사용되는 데이터셋—특히 '0' vs '1'과 같은 단순한 이진 영상 분류 작업—이 너무 단순하여 새로운 패턴 인식 방법을 테스트하기에 부적합함을 성공적으로 식별했다.
• 계산 비용이 증가함에도 불구하고 상한선이 안정적인 점 渐진수렴값으로 수렴하는 것은 과적합에 대한 저항력을 보여주며, 진정으로 내재된 데이터 구조를 탐지했음을 확인한다.