[논문 리뷰] Improving Simple Models with Confidence Profiles

Amit Dhurandhar, Karthikeyan Shanmugam외 2명|arXiv (Cornell University)|2018. 07. 19.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 18

한 줄 요약

이 논문은 사전 훈련된 딥 네ural 네트워크의 중간 계층에서의 신뢰도 프로파일을 활용하여 단순하고 해석 가능한 모델(예: 의사결정트리, 얕은 네트워크)의 성능을 향상시키는 ProfWeight를 제안한다. 선형 프로브를 사용해 신뢰도 점수를 생성하고, 특히 신뢰도 곡선 아래 면적(AUC)을 기반으로 훈련 샘플을 가중치를 적용함으로써 높은 정확도 향상을 달성하였으며, 실제 제조 데이터셋에서는 13% 향상되고, CIFAR-10에서는 최소한의 파라미터를 가진 모델로도 3–4% 향상되는 결과를 보였다.

ABSTRACT

In this paper, we propose a new method called ProfWeight for transferring information from a pre-trained deep neural network that has a high test accuracy to a simpler interpretable model or a very shallow network of low complexity and a priori low test accuracy. We are motivated by applications in interpretability and model deployment in severely memory constrained environments (like sensors). Our method uses linear probes to generate confidence scores through flattened intermediate representations. Our transfer method involves a theoretically justified weighting of samples during the training of the simple model using confidence scores of these intermediate layers. The value of our method is first demonstrated on CIFAR-10, where our weighting method significantly improves (3-4%) networks with only a fraction of the number of Resnet blocks of a complex Resnet model. We further demonstrate operationally significant results on a real manufacturing problem, where we dramatically increase the test accuracy of a CART model (the domain standard) by roughly 13%.

연구 동기 및 목표

• 모델의 해석 가능성과 자원 소비가 중요한 환경에서 단순하고 해석 가능한 모델(예: 의사결정트리, 라소, 얕은 네트워크)의 성능을 향상시키는 것.
• 딥 네트워크를 재학습하지 않고도 고정밀도 사전 훈련된 딥 네트워크에서 지식을 전이하는 것.
• 중간 계층의 신뢰도 프로파일에 기반한 모델에 종속되지 않은 이론적으로 탄탄한 샘플 재가중 기법을 개발하는 것.
• 메모리 및 전력 제약이 있는 환경(예: IoT 기기, UAV 등)에서 정확하고 가벼운 모델의 구현을 가능하게 하는 것.
• 학생 모델이 매우 단순하고 구조가 고정되어 있을 경우 딥 라이팅 및 校정 기반 전이 방법의 한계를 해결하는 것.

제안 방법

• 사전 훈련된 딥 네트워크의 중간 계층에 선형 프로브(소프트맥스를 갖는 로지스틱 분류기)를 부착하여 각 입력 샘플에 대해 진짜 레이블의 신뢰도 점수를 추출한다.
• 각 입력 샘플에 대해 다수의 중간 계층에서의 진짜 레이블의 신뢰도 점수를 플로팅하여 신뢰도 프로파일을 구성한다.
• 신뢰도 프로파일 곡선 아래 면적(AUC)을 샘플 가중치 함수로 사용하여 단순 모델 훈련 시 더 쉬운 예제를 우선순위로 지정한다.
• 샘플 가중치를 신뢰도 프로파일의 AUC 또는 작은 신경망을 통해 학습시켜 가중된 경험 리스크 최소화 기반으로 단순 모델을 훈련시킨다.
• 목표 단순 모델의 복잡도에 따라 중간 계층을 선택하며, 의미 있는 표현 진전을 반영하는 계층에 집중한다.
• 추론 과정에서는 사전 훈련된 네트워크를 정방향 전파만 사용하고, 딥 네트워크의 기울기 업데이트를 방지한다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 중간 계층에서 유도된 신뢰도 프로파일이 단순 모델이 더 쉽게 학습할 수 있는 예제를 효과적으로 식별하여 일반화 성능을 향상시킬 수 있는가?
• RQ2 신뢰도 프로파일 AUC에 기반한 샘플 재가중 기법이 모델 복잡도를 증가시키지 않고도 단순 모델의 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ3 이 방법이 매우 작은 크기의 복잡도가 고정된 학생 모델에 대해 복잡하고 고정밀도 모델의 지식을 효과적으로 전이할 수 있는가?
• RQ4 매우 단순한 학생 모델 환경에서 ProfWeight는 딥 라이팅 및 校정 기반 전이 방법보다 우월한가?
• RQ5 이 방법은 제조 분야의 실제 산업 응용(예: 제조 결함 검출)에서도 운영적으로 효과적인가?

주요 결과

• ProfWeight는 전체 ResNet의 파라미터 수의 일부에 불과한 단순 신경망(0.27M 대비 2.5M)을 CIFAR-10에서 3–4% 향상시켜 매우 낮은 복잡도로도 높은 성능 향상을 입증하였다.
• 실제 제조 데이터셋에서 ProfWeight는 기존에 도메인 표준인 CART 의사결정트리의 테스트 정확도를 약 13% 향상시켜 실질적인 영향을 보였다.
• 신뢰도 프로파일 AUC는 예제 난이도의 강력한 지표였으며, 높은 AUC 값은 더 쉬운 예제를 의미하고, AUC 기반 가중치 적용으로 일관된 성능 향상이 이루어졌다.
• 온도 스케일링 및 표준 딥 라이팅 방법은 ProfWeight에 비해 성능이 열 劣하였으며, 특히 학생 모델이 매우 작고 아키텍처가 고정되어 있을 경우 두드러졌다.
• 이 방법은 모델에 종속되지 않으며, 사전 훈련된 딥 네트워크의 데이터와 다를 수 있는 단순 모델의 훈련 데이터에서도 효과를 발휘하여 소규모 데이터 환경에서의 전이를 가능하게 하였다.
• 이 방법은 메모리 및 전력 제약이 있는 환경(예: IoT, UAV 등)에서 정확하고 가벼운 모델의 구현을 가능하게 하여, 딥 네트워크가 구현이 불가능한 환경에서도 활용 가능하다.