[논문 리뷰] Icing on the Cake: An Easy and Quick Post-Learnig Method You Can Try After Deep Learning

Tomohiko Konno, Michiaki Iwazume|arXiv (Cornell University)|2018. 07. 17.

Machine Learning and Data Classification참고 문헌 6인용 수 10

한 줄 요약

논문은 사전에 훈련된 딥 뉴럴 네트워크의 중간층에서 추출한 특징을 사용하여 마지막 분류기 레이어만 재학습하는 간단한 후처리 방법인 'Icing on the Cake'(ICK)을 제안한다. 이 기법은 ResNet, DenseNet, WideResNet 등의 다양한 아키텍처에서 CIFAR-100 및 CIFAR-10 데이터셋에서 이미지 분류 정확도를 향상시키며, 계산 비용이 극히 낮아 일반적으로 5분 이내로 수행되며, 정확도 향상 폭이 최대 7%p에 이르게 된다 (예: ResNet-56에서 66%에서 73%로 향상).

ABSTRACT

We found an easy and quick post-learning method named "Icing on the Cake" to enhance a classification performance in deep learning. The method is that we train only the final classifier again after an ordinary training is done.

연구 동기 및 목표

• 모든 네트워크를 재학습하지 않고도 성능을 향상시킬 수 있는 경량의 후처리 방법을 개발하는 것.
• 추출한 특징을 사용하여 마지막 분류기 레이어만 재학습하는 것이 이미지 분류 작업에서 일반화 및 강건성 향상에 기여하는지 조사하는 것.
• 연구자들과 실무자들이 표준 학습 후 쉽게 적용할 수 있는 실용적이고 저비용의 기법을 제공하는 것.
• 이 방법이 다양한 아키텍처(ResNet, DenseNet, WideResNet)와 데이터셋(CIFAR-10, CIFAR-100)에 걸쳐 일반화 가능한지 탐구하는 것.

제안 방법

• 딥 뉴럴 네트워크의 표준 학습 후, 마지막 분류기 이전의 레이어(즉, 전단계 레이어)에서 특징을 추출한다.
• 동일한 훈련 레이블을 사용하여 이들 추출된 특징 위에서 새로운 분류기를 훈련시킨다.
• 재학습된 분류기를 추론 시에 사용하며, 원래의 마지막 레이어를 교체하거나 테스트 특징에 직접 적용할 수 있다.
• 이 방법은 계산적으로 효율적이며, 마지막 레이지만 재학습하기 때문에 시간이 매우 짧아 일반적으로 5분 이내이다.
• 이 방법은 아키텍처에 종속되지 않으며, 표준 분류 헤드를 가진 모든 사전 훈련된 모델에 적용 가능하다.
• 재학습 단계에서는 데이터 증강 및 표준 최적화(예: Adam)를 사용하여 원래의 훈련 설정과 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 표준 학습 후 마지막 분류기 레이너만 재학습하는 것이 이미지 벤치마크에서 분류 정확도 향상에 기여하는가?
• RQ2 'Icing on the Cake' 방법이 ResNet, DenseNet, WideResNet와 같은 다양한 딥 러닝 아키텍처에 일반화되는가?
• RQ3 성능 향상 폭은 얼마나 크며, 여러 시행과 데이터셋(CIFAR-10, CIFAR-100)에서 일관되게 유지되는가?
• RQ4 여러 시행에서의 정확도 표준편차가 감소하여, 훈련 안정성 향상과 분산 감소가 관찰되는가?
• RQ5 이러한 단순한 후처리 단계가 이론적 설명 없이도 일관되게 성능 향상을 이끌어내는 이유는 무엇인가?

주요 결과

• CIFAR-100에서 ResNet-56에 대해 'Icing on the Cake'을 적용한 결과 정확도가 66%에서 73%로 상승하여 7%p 향상되었다.
• 모든 테스트된 ResNet 깊이(11에서 56까지)에서 이 방법은 정확도를 일관되게 향상시켰으며, 깊이 간 평균 향상 폭은 7%p를 초과했다.
• DenseNet(깊이=40, 성장률=12)의 경우 CIFAR-100에서 정확도가 59%에서 79%로 상승하여 20%p 향상되었다.
• CIFAR-10에서 ResNet-56는 ICK 적용 전 88.5%의 정확도를 기록했고, 적용 후 92%로 상승하여 3.5%p 향상되었다.
• 10번의 시행에 걸친 정확도 표준편차가 ICK 적용 후에 유의미하게 감소하여, 훈련 안정성 향상과 분산 감소가 확인되었다.
• WideResNet-16-8에서도 이 방법이 효과를 보였으며, 평균 정확도가 72%에서 74%로 상승하여 다양한 아키텍처에 걸쳐 넓은 적용 가능성을 입증했다.