[논문 리뷰] N-ary Error Correcting Coding Scheme

Joey Tianyi Zhou, Ivor W. Tsang외 2명|arXiv (Cornell University)|2016. 03. 18.

Face and Expression Recognition참고 문헌 16인용 수 4

한 줄 요약

이 논문은 다중 클래스 문제를 분할 정복 전략을 사용해 계층적인 다중 클래스 부분 문제로 분해함으로써 더 큰 코드 간 최소 거리를 확보하고 더 구분력 있는 코드화를 가능하게 하는 N-항 오류 수정 출력 부호(ECOC) 체계를 제안한다. 이 방법은 이진 및 삼진 ECOC 체계보다 우수한 분류 성능을 보이며, 특히 ALOI(1000개 클래스)와 같은 세분화된 고클래스 수 데이터셋에서 뛰어난 성능을 발휘한다. 최적의 N은 [3,10] 범위 내에 있다.

ABSTRACT

The coding matrix design plays a fundamental role in the prediction performance of the error correcting output codes (ECOC)-based multi-class task. {In many-class classification problems, e.g., fine-grained categorization, it is difficult to distinguish subtle between-class differences under existing coding schemes due to a limited choices of coding values.} In this paper, we investigate whether one can relax existing binary and ternary code design to $N$-ary code design to achieve better classification performance. {In particular, we present a novel $N$-ary coding scheme that decomposes the original multi-class problem into simpler multi-class subproblems, which is similar to applying a divide-and-conquer method.} The two main advantages of such a coding scheme are as follows: (i) the ability to construct more discriminative codes and (ii) the flexibility for the user to select the best $N$ for ECOC-based classification. We show empirically that the optimal $N$ (based on classification performance) lies in $[3, 10]$ with some trade-off in computational cost. Moreover, we provide theoretical insights on the dependency of the generalization error bound of an $N$-ary ECOC on the average base classifier generalization error and the minimum distance between any two codes constructed. Extensive experimental results on benchmark multi-class datasets show that the proposed coding scheme achieves superior prediction performance over the state-of-the-art coding methods.

연구 동기 및 목표

• 이진 및 삼진 ECOC 코드 체계의 한계를 해결하여 미세한 클래스 간 차이가 있는 세분화된 고차원 다중 클래스 문제를 효과적으로 다룰 수 있도록 한다.
• 기존 ECOC에서 코드 값 공간이 제한되어 있어 코드 간 최소 거리가 작아지고 오류 수정 능력이 떨어지는 문제를 해결한다.
• 주어진 데이터셋에 최적의 N(코드 값 수)을 선택할 수 있도록 사용자에게 민감한 선택 기회를 제공한다.
• 더 큰 최소 거리를 갖는 코드를 계층적 분해를 통해 더 작은 다중 클래스 부분 문제로 나누어 구성함으로써 ECOC의 구분 능력을 향상시킨다.
• 기본 분류기와 무관한 이론적 일반화 오차 경계를 제공하여 이론적 분석을 가능하게 한다.

제안 방법

• 각 단계에서 원래의 다중 클래스 문제를 더 작은 다중 클래스 부분 문제로 재귀적으로 분할하는 계층적 N-항 코드 체계를 제안하며, 분할 정복 전략과 유사하다.
• 나무 기반의 분해를 통해 각 내부 노드가 메타클래스를 N개의 하위 메타클래스로 분할함으로써, 클래스에 N-항 코드(0에서 N−1까지의 값)를 할당하여 코드 행렬을 구성한다.
• 코드 간 상호 분리도를 극대화하기 위해 계층적 분할 과정을 최적화함으로써, 어떤 두 코드 행 간에도 최소 거리 Δ_min(M)를 확보한다.
• 기본 분류기의 평균 오차와 최소 코드 거리에 의존하는 기본 분류기 의존성 없는 일반화 오차 경계를 사용하여 이론적 분석을 가능하게 한다.
• 하위 문제에서 표준 다중 클래스 분류기(예: M-SVM, M-CART)를 사용하여 구현함으로써 병렬 처리와 확장성을 확보한다.
• 성능과 계산 비용의 균형을 고려해 각 데이터셋에 최적의 N을 경험적 평가를 통해 선정한다.

실험 결과

연구 질문

• RQ1 이진 및 삼진 코드에서 N-항 코드로 확장함으로써 세분화된 고클래스 수 데이터셋에서 분류 성능을 크게 향상시킬 수 있는가?
• RQ2 N-항 ECOC의 최적의 N 값(분류 정확도 기준)은 무엇이며, 계산 비용과의 트레이드오���은 어떻게 되는가?
• RQ3 다중 클래스 문제를 더 작은 다중 클래스 부분 문제로 계층적으로 분해하는 방식은 기존 이진 또는 삼진 ECOC보다 더 구분력 있는 코드를 생성하는가?
• RQ4 N-항 코드 행렬 내 코드 행 간 최소 거리가 ECOC 시스템의 일반화 오차에 어떻게 영향을 주는가?
• RQ5 제안된 N-항 ECOC 체계는 벤치마크 데이터셋에서 기존 ECOC 방법과 직접적인 다중 클래스 분류 알고리즘을 모두 초월할 수 있는가?

주요 결과

• 제안된 N-항 ECOC 체계는 ALOI 데이터셋(1000개 클래스 포함)을 포함한 여러 벤치마크 데이터셋에서 뛰어난 분류 성능을 보였다.
• ALOI 데이터셋에서 N=5일 때 최소 거리 Δ_min(M)가 741에 도달했으며, 이는 이진 및 삼진 코드가 매우 낮거나 0에 가까운 최소 거리를 가졌다는 점과 대비되어 낮은 분리 가능성(구분 불능성)을 시사한다.
• 분류 성능 최적의 N 값은 [3,10] 범위 내에 있으며, 다양한 데이터셋에서 경험적 결과로 이진 및 삼진 ECOC보다 일관된 성능 향상을 확인했다.
• Pendigits 데이터셋에서 전체 정확도가 유사한 상황에서도 N-항 ECOC는 이진 및 삼진 코드보다 최대 분류 오차를 감소시켰다.
• 뉴스20 및 섹터 데이터셋과 같은 고차원 데이터셋에서 의사결정수 트리 분류기의 성능을 크게 향상시켰으며, 직접적인 다중 클래스 의사결정수 트리가 복잡한 트리 구조로 인해 실패하는 경우에 특히 유용했다.
• N-항 ECOC의 일반화 오차 경계가 유도되었으며, 이는 평균 기본 분류기 오차와 최소 코드 거리에 의존하여 성능 향상의 이론적 근거를 제공한다.