[논문 리뷰] Fitted Learning: Models with Awareness of their Limits

Navid Kardan, Kenneth O. Stanley|arXiv (Cornell University)|2016. 09. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 8

한 줄 요약

이 논문은 신경망이 자신의 지식 한계를 인식할 수 있도록 해주는 Fitted Learning 프레임워크를 소개한다. 이는 과잉 완성도 출력층(COOL)을 사용하여 일반화 과도를 줄이는 방식이다. COOL은 적대적 예제에 대한 강건성을 향상시키고, 재학습 없이 일괄 학습과 계속 학습을 가능하게 하며, 드롭아웃을 사용할 경우 CIFAR-100에서 74.72%의 정확도를 기록해 표준 CNN보다 뛰어난 성능을 보였다.

ABSTRACT

Though deep learning has pushed the boundaries of classification forward, in recent years hints of the limits of standard classification have begun to emerge. Problems such as fooling, adding new classes over time, and the need to retrain learning models only for small changes to the original problem all point to a potential shortcoming in the classic classification regime, where a comprehensive a priori knowledge of the possible classes or concepts is critical. Without such knowledge, classifiers misjudge the limits of their knowledge and overgeneralization therefore becomes a serious obstacle to consistent performance. In response to these challenges, this paper extends the classic regime by reframing classification instead with the assumption that concepts present in the training set are only a sample of the hypothetical final set of concepts. To bring learning models into this new paradigm, a novel elaboration of standard architectures called the competitive overcomplete output layer (COOL) neural network is introduced. Experiments demonstrate the effectiveness of COOL by applying it to fooling, separable concept learning, one-class neural networks, and standard classification benchmarks. The results suggest that, unlike conventional classifiers, the amount of generalization in COOL networks can be tuned to match the problem.

연구 동기 및 목표

• 표준 딥러닝 분류기가 과도하게 일반화되어 알려지지 않은 입력을 인식하지 못하는 한계를 해결하기 위해.
• 신경망이 자신의 지식 경계를 인지하고 인간과 유사한 불확실성 인식을 할 수 있도록 하기 위해.
• 모든 모델을 재학습하지 않고도 새로운 클래스를 추가할 수 있도록 지속적 학습을 지원하기 위해.
• 음성 예제가 필요 없이도 데이터에 제약을 받는 밀도 높은 결정 경계를 학습함으로써 일괄 신경망을 실현 가능하게 하기 위해.
• 표준 딥러닝 아키텍처와 호환되는 간단하고 즉각 적용 가능한 메커니즘을 개발하기 위해.

제안 방법

• 각 클래스당 여러 개의 뉴런이 입력 패턴에 대해 경쟁하도록 하는 경쟁적 과잉 완성도 출력층(COOL)을 도입한다.
• 스티어티식 경사 하강법을 사용해 COOL 네트워크를 훈련시켜, 각 클래스 내 뉴런들이 입력 공간의 겹치는 그러나 동일하지 않은 영역을 학습하도록 한다.
• 출력 뉴런 간의 경쟁을 통해 분류 신뢰도를 좁고 데이터에 가까운 영역으로 제한함으로써 과도한 일반화를 줄인다.
• COOL 뉴런의 앙상블 유사 행동을 활용해 드롭아웃과 유사하게 지수적 수의 모델을 암묵적으로 표현한다.
• 표준 백프로파게이션과 최적화를 사용해 COOL 네트워크를 훈련시키며, 아키텍처의 전반적인 변경 없이도 가능하다.
• 독립적으로 훈련된 COOL 모듈을 조합해 분리 가능한 개념 학습을 위한 통합 분류기로 구성한다.

실험 결과

연구 질문

• RQ1 입력이 알려진 클래스에 속하지 않을 때 신경망이 이를 인식할 수 있도록 훈련시킬 수 있는가? 이를 통해 분포 외 입력에 대한 과도한 확신을 줄일 수 있는가?
• RQ2 음성 예제가 필요 없이 COOL 네트워크가 효과적으로 일괄 결정 경계를 학습할 수 있는가?
• RQ3 재학습 없이도 새로운 클래스를 추가할 수 있도록 COOL이 지속적 학습을 가능하게 할 수 있는가?
• RQ4 표준 분류기와 비교해 COOL 메커니즘이 적대적 예제에 대해 강건성을 향상시키는가?
• RQ5 기존 딥러닝 아키텍처에 COOL을 통합해 표준 벤치마크에서 성능을 향상시킬 수 있는가?

주요 결과

• COOL 네트워크는 동일한 아키텍처와 드롭아웃을 사용할 경우 CIFAR-100에서 74.72%의 테스트 정확도를 기록했으며, ELU-Network(75.72%)를 포함한 여러 최첨단 모델보다 뛰어난 성능을 보였다.
• COOL 아키텍처는 표준 네트워크가 99% 이상의 신뢰도로 잘못 분류하는 적대적 입력에 대해 신뢰도를 크게 낮춰 위장당하는 것을 현저히 줄였다.
• COOL은 데이터에 제약을 받는 밀도 높은 결정 경계를 학습함으로써 알려진 입력과 알려지지 않은 입력을 구분할 수 있도록 일괄 신경망을 효과적으로 실현했다.
• COOL은 독립적으로 훈련된 분류기를 하나의 통합 모델로 조합할 수 있게 해, 분리 가능한 개념 학습 문제를 해결했다.
• COOL과 드롭아웃의 상호보완적 작용으로 성능이 향상되어, 표준 CNN에 드롭아웃을 적용한 경우 72.79% 대비 74.72%의 정확도를 기록했다.
• 시각화 결과 COOL 뉴런들이 겹치지만 동일하지 않은 영역을 학습함으로써 훈련 데이터에 더 견고하게 맞추어지고 과도한 일반화가 감소하는 것을 확인했다.