[논문 리뷰] Cost-aware pre-training for multiclass cost-sensitive deep learning

Yu-An Chung, Hsuan-Tien Lin외 1명|arXiv (Cornell University)|2016. 07. 09.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 19

한 줄 요약

이 논문은 사전 훈련 및 미세조정 단계 모두에서 오류 분류 비용 정보를 통합하는 새로운 손실 함수를 통합함으로써 다중 클래스 비용 감수성 딥 러닝을 위한 비용 인지 사전 훈련 방법을 제안한다. 이 방법은 비용 인지 특징 추출 및 분류를 가능하게 하여 비딥 모델 및 비용 무시 딥 모델보다 성능을 향상시키며, 광범위한 실험을 통해 검증되었다.

ABSTRACT

Deep learning has been one of the most prominent machine learning techniques nowadays, being the state-of-the-art on a broad range of applications where automatic feature extraction is needed. Many such applications also demand varying costs for different types of mis-classification errors, but it is not clear whether or how such cost information can be incorporated into deep learning to improve performance. In this work, we first design a novel loss function that embeds the cost information for the training stage of cost-sensitive deep learning. We then show that the loss function can also be integrated into the pre-training stage to conduct cost-aware feature extraction more effectively. Extensive experimental results justify the validity of the novel loss function for making existing deep learning models cost-sensitive, and demonstrate that our proposed model with cost-aware pre-training and training outperforms non-deep models and other deep models that digest the cost information in other stages.

연구 동기 및 목표

• 다양한 오류 분류 비용을 딥 러닝 모델에 통합하여 성능을 향상시키는 데 도전하는 것.
• 딥 뉴럴 네트워크의 사전 훈련 단계에서 비용 정보를 효과적으로 활용할 수 있는지 탐색하는 것.
• 사전 훈련에서부터 미세조정에 이르기까지 비용 감수성 학습을 통합하는 통합된 훈련 프레임워크를 설계하는 것.
• 비용 인지 사전 훈련이 비딥 또는 비용 인지하지 않은 딥 모델에 비해 더 나은 일반화 및 성능을 보이는지 보여주는 것.

제안 방법

• 훈련 중에 클래스별 오류 분류 비용을 명시적으로 인코딩하는 새로운 손실 함수를 제안한다.
• 비용 인지 특징 학습을 가능하게 하기 위해 이 손실 함수를 사전 훈련 단계에 적응시킨다.
• 비용 인지 손실을 딥 러닝 파이프라인의 사전 훈련 및 이후의 미세조정 단계에 통합한다.
• 수정된 손실 함수를 사용하여 표준 딥 뉴럴 네트워크 아키텍처를 엔드 투 엔드로 훈련한다.
• 새로운 손실 함수를 사용하여 표준 백프로파게이션 및 최적화 기법을 적용해 네트워크 가중치를 갱신한다.
• 다양한 비용 구조를 가진 다중 클래스 데이터셋을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 딥 러닝의 사전 훈련 단계에 비용 정보를 효과적으로 통합하여 특징 표현을 향상시킬 수 있는가?
• RQ2 다운스트림 분류 성능 측면에서 비용 인지 사전 훈련은 표준 사전 훈련보다 어떻게 비교되는가?
• RQ3 사전 훈련 및 미세조정 단계 모두에서 비용 감수성 손실을 통합할 경우, 훈련 또는 추론 단계에서만 비용 감수성을 적용하는 것보다 더 나은 성능을 내는가?
• RQ4 제안된 방법은 비딥 비용 감수성 모델 및 표준 딥 러닝 모델에 비해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 비용 인지 사전 훈련 방법은 다중 클래스 비용 감수성 학습 과제에서 분류 성능을 크게 향상시킨다.
• 비용 인지 사전 훈련 및 훈련을 거친 모델은 비딥 모델과 비용 정보를 후속 단계에서만 통합한 다른 딥 러닝 모델보다 성능이 뛰어나다.
• 새로운 손실 함수는 사전 훈련 및 미세조정 단계 모두에서 효과적인 비용 감수성 학습을 가능하게 하여 더 나은 특징 추출을 이끈다.
• 광범위한 실험 결과는 제안된 손실 함수가 훈련 파이프라인 전반에 걸쳐 비용 정보를 효과적으로 통합함을 검증한다.