[논문 리뷰] Neural eliminators and classifiers

Włodzisław Duch, Rafał Adamczak외 1명|arXiv (Cornell University)|2019. 01. 28.

Neural Networks and Applications참고 문헌 15인용 수 4

한 줄 요약

이 논문은 겹치는 데이터나 노이즈가 있는 데이터에서 신뢰할 수 없는 분류 문제를 해결하기 위해 단일 클래스 예측을 저확률 클래스 제거로 대체하는 신경망 제거기(neural eliminators)를 제안한다. 수정된 오차 함수와 분류기의 확률적 출력—특히 50개의 FSM 신경망으로 구성된 위원회—를 사용하여, 두 개의 클래스를 제거할 수 있도록 허용할 경우 테스트 데이터에서 92%의 정확도를 달성하며, 도전적인 의료 진단 과제에서 신뢰할 수 있는 의사결정 지원을 가능하게 한다.

ABSTRACT

Classification may not be reliable for several reasons: noise in the data, insufficient input information, overlapping distributions and sharp definition of classes. Faced with several possibilities neural network may in such cases still be useful if instead of a classification elimination of improbable classes is done. Eliminators may be constructed using classifiers assigning new cases to a pool of several classes instead of just one winning class. Elimination may be done with the help of several classifiers using modified error functions. A real life medical application of neural network is presented illustrating the usefulness of elimination.

연구 동기 및 목표

• 겹치는 데이터나 노이즈가 많은 데이터에서 전통적인 분류의 한계를 해결하며, 특히 클래스 경계가 희미한 의료 진단 분야에서의 적용을 목표로 한다.
• 분포가 겹치고 클래스 레이블이 모호하거나 불완전할 때 표준 분류의 신뢰성 부족 문제를 해결한다.
• 단일 클래스 레이블을 할당하는 대신 불가능한 클래스를 제거하여 의사결정 지원을 향상시키는 방법을 개발한다.
• 확률적 출력과 클래스 제거에 특화된 수정된 오차 함수를 사용하여 분류기의 신뢰성을 향상시킨다.
• 개별 분류가 불확실할 경우 나머지 클래스의 혼합물에 속하는 경우를 식별할 수 있도록 한다.

제안 방법

• 다층 퍼셉트론, FSM 네트워크 등 분류기의 확률적 출력을 사용하여 후행 확률 $ p(C_k|\mathbf{X};M) $ 를 추정한다.
• 진짜 클래스가 유일하게 가장 높은 출력이 아니라 상위-k개의 가장 확률 높은 출력 중 하나가 되도록 유도하는 수정된 오차 함수를 적용한다.
• 혼동 행렬 분석을 통해 제거기(eliminators)를 구축하고, 관련이 없는 클래스를 제거하는 데 오차를 최소화하도록 모델을 훈련시킨다.
• 이중 단계 시스템을 구현한다: 첫 번째 단계에서는 50개의 FSM 네트워크로 구성된 위원회를 사용해 고신뢰도 사례를 분류하고, 두 번째 단계에서는 불확실한 사례에 대해 두 개의 클래스를 제거한다.
• 몬테카를로 추정을 사용해 비확률적 모델의 확률을 유도하여 신뢰도 평가를 가능하게 한다.
• 정확도 기준을 완화하기 위해 '초기 시스템(supersystem)'을 오차 함수로 최적화하며, 정답 분류가 상위 두 출력 중 하나에 포함되는 것으로 간주함으로써 유연한 성공 기준을 도입한다.

실험 결과

연구 질문

• RQ1 겹치는 데이터에서 단일 클래스 예측 대신 저확률 클래스 제거를 우선시하도록 재학습된 신경망이 가능한가?
• RQ2 진짜 클래스가 상위-k 출력에 포함되도록 목표로 할 때 오차 함수를 수정하면 분류 성능에 어떤 영향을 미치는가?
• RQ3 표준 분류가 실패할 경우 클래스 제거가 의료 진단에서 의사결정 지원에 얼마나 기여할 수 있는가?
• RQ4 확률적 신경망 위원회를 사용할 경우 클래스 제거의 신뢰성에 어떤 영향을 미치는가?
• RQ5 고신뢰도 분류와 클래스 제거를 조합한 하이브리드 시스템이 표준 분류기보다 더 높은 전체 정확도를 달성할 수 있는가?

주요 결과

• 50개의 FSM 신경망 위원회가 테스트 세트에서 81%의 분류 정확도를 달성했으며, 고신뢰도(확률 >0.9)로 잘못 분류된 사례는 4.3%에 그쳤다.
• 정답으로 간주하는 기준을 완화하여 진짜 클래스가 상위 두 출력 중 하나에 포함되는 것으로 간주할 경우 정확도가 약 90%로 향상되었다.
• 진짜 클래스가 상위 두 출력에 포함되는 것을 유리하게 만드는 수정된 오차 함수를 사용해 '초기 시스템'을 훈련시켜 테스트 세트에서 92%의 정확도를 달성했다.
• 두 번째로 높은 출력에 대해 $ p \geq 0.2 $ 의 임계값을 적용했을 경우 정확도가 87%로 떨어졌으며, 이는 신뢰도 임계값에 민감한 것을 시사한다.
• 제거 방식을 통해 약 80%의 테스트 사례에서 신뢰할 수 있는 진단이 가능했으며, 나머지 절반의 불확실한 사례는 남은 두 클래스의 혼합물에 할당되었다.
• 표준 분류기인 나이브 베이즈, kNN, 규칙 기반 시스템은 동일한 데이터셋에서 55% 이하의 정확도를 기록하며 본 방법에 비해 유의미하게 열등했다.