[논문 리뷰] A Novel ECOC Algorithm with Centroid Distance Based Soft Coding Scheme

Kaijie Feng, Kunhong Liu외 1명|arXiv (Cornell University)|2018. 06. 22.

Face and Expression Recognition참고 문헌 13인용 수 5

한 줄 요약

이 논문은 중심점 거리 기반 소프트 코딩 기법을 사용하는 CSECOC라는 새로운 ECOC 알고리즘을 제안한다. 다중분류 성능을 향상시키기 위해 하드 삼진 코드를 클래스 커버리지 확률에서 유도된 소프트 값으로 대체하고, 회귀모형을 기본 학습기로 사용함으로써 UCI 데이터셋에서 더 작은 앙상블으로 경쟁 가능한 정확도를 달성한다. 이는 ECOC 프레임워크에서 소프트 코딩을 처음으로 적용한 사례이다.

ABSTRACT

In ECOC framework, the ternary coding strategy is widely deployed in coding process. It relabels classes with {"-1,0,1" }, where -1/1 means to assign the corresponding classes to the negative/positive group, and label 0 leads to ignore the corresponding classes in the training process. However, the application of hard labels may lose some information about the tendency of class distributions. Instead, we propose a Centroid distance-based Soft coding scheme to indicate such tendency, named as CSECOC. In our algorithm, Sequential Forward Floating Selection (SFFS) is applied to search an optimal class assignment by minimizing the ratio of intra-group and inter-group distance. In this way, a hard coding matrix is generated initially. Then we propose a measure, named as coverage, to describe the probability of a sample in a class falling to a correct group. The coverage of a class a group replace the corresponding hard element, so as to form a soft coding matrix. Compared with the hard ones, such soft elements can reflect the tendency of a class belonging to positive or negative group. Instead of classifiers, regressors are used as base learners in this algorithm. To the best of our knowledge, it is the first time that soft coding scheme has been proposed. The results on five UCI datasets show that compared with some state-of-art ECOC algorithms, our algorithm can produce comparable or better classification accuracy with small scale ensembles.

연구 동기 및 목표

• 기존 ECOC 하드 코딩에서 발생하는 정보 손실 문제를 해결하기 위해 클래스 분포 경향성을 포착하고자 한다.
• 클래스가 양성 또는 음성 그룹에 속할 확률을 반영하는 소프트 코딩 기법을 개발하고자 한다.
• 성능 향상을 위해 ECOC에서 기존 분류기 대신 회귀모형을 기본 학습기로 사용하고자 한다.
• 순차적 전진 플로팅 선택(SFFS)을 통해 내부 그룹 간 및 외부 그룹 간 거리 비율을 최소화하여 최적의 클래스 할당을 이루고자 한다.
• 기준 데이터셋에서 제안된 방법을 평가하고 최신 기술 수준의 ECOC 알고리즘과 비교하고자 한다.

제안 방법

• 내부 그룹 간 거리 대비 외부 그룹 간 거리 비율을 최소화하기 위해 순차적 전진 플로팅 선택(SFFS)을 적용하여 초기 하드 코딩 행렬을 생성한다.
• 샘플이 특정 클래스에서 정확한 그룹에 속할 가능성을 추정하기 위해 커버리지 측도를 정의한다.
• 하드 코딩 요소 {-1, 0, 1}을 커버리지 측도에서 유도된 소프트 값으로 대체하여 소프트 코딩 행렬을 구성한다.
• 각 코딩 그룹에 대한 소프트 출력을 예측하기 위해 분류기 대신 회귀모형을 기본 학습기로 사용한다.
• 다수결정 또는 가중 평균 전략을 사용하여 회귀모형 예측 결과를 융합하여 최종 앙상블을 구성한다.
• 일반화 성능 향상을 위해 그룹 간 분리도와 클래스 커버리지 균형을 조절하여 코딩 기법을 최적화한다.

실험 결과

연구 질문

• RQ1 중심점 거리와 커버리지 기반 소프트 코딩이 하드 코딩 대비 ECOC 성능을 향상시킬 수 있는가?
• RQ2 ECOC에서 분류기를 회귀모형으로 대체하면 더 높은 분류 정확도를 달성할 수 있는가?
• RQ3 SFFS 기반 하드 코딩 생성과 소프트 코딩 정밀 조정을 조합하면 우수한 성능을 낼 수 있는가?
• RQ4 제안된 방법은 최신 기술 수준의 ECOC 알고리즘 대비 정확도와 앙상블 크기 측면에서 어떻게 비교되는가?
• RQ5 소프트 코딩 기법이 하드 코딩에서 손실된 클래스 분포 경향성을 어느 정도 유지하는가?

주요 결과

• 제안된 CSECOC 알고리즘은 다섯 개인 UCI 데이터셋에서 최신 기술 수준의 ECOC 방법과 비교해 유사하거나 더 높은 분류 정확도를 달성한다.
• 커버리지 확률 기반 소프트 코딩이 하드 코딩에서 손실된 클래스 분포 경향성을 효과적으로 포착한다.
• 기본 학습기로 회귀모형을 사용함으로써 성능 향상이 이루어지며, 이는 ECOC 프레임워크에서 새로운 접근법이다.
• 작은 앙상블 크기로도 높은 정확도를 유지함으로써 모델 복잡도 측면에서 효율성을 입증한다.
• SFFS 기반 하드 코딩 생성 후 소프트 코딩 정밀 조정을 통해 더 나은 그룹 간 분리도와 분류 성능이 달성된다.
• 실험 결과는 소프트 코딩이 각 그룹 내 클래스 소속 가능성 확률을 반영함으로써 일반화 성능을 향상시킨다는 점을 입증한다.