[논문 리뷰] The Role of Typicality in Object Classification: Improving The Generalization Capacity of Convolutional Neural Networks

Babak Saleh, Ahmed Elgammal외 1명|arXiv (Cornell University)|2016. 02. 09.

Advanced Neural Network Applications참고 문헌 31인용 수 10

한 줄 요약

이 논문은 외부 및 내부 typicality 신호를 사용하여 typicality 기반으로 훈련 샘플을 가중치화함으로써 컨볼루션 신경망(CNNs)의 일반화 능력을 향상시키는 방법을 제안한다. MS-Hinge 손실을 통해 typicality를 손실 함수에 통합함으로써, 미세조정 없이도 일반화된 정확도가 크게 향상되었으며, 이는 이질적인 테스트 이미지에서 최대 44.73%의 정확도를 기록함으로써 입증되었다. 이는 기준 모델 및 무작위 가중치화 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Deep artificial neural networks have made remarkable progress in different tasks in the field of computer vision. However, the empirical analysis of these models and investigation of their failure cases has received attention recently. In this work, we show that deep learning models cannot generalize to atypical images that are substantially different from training images. This is in contrast to the superior generalization ability of the visual system in the human brain. We focus on Convolutional Neural Networks (CNN) as the state-of-the-art models in object recognition and classification; investigate this problem in more detail, and hypothesize that training CNN models suffer from unstructured loss minimization. We propose computational models to improve the generalization capacity of CNNs by considering how typical a training image looks like. By conducting an extensive set of experiments we show that involving a typicality measure can improve the classification results on a new set of images by a large margin. More importantly, this significant improvement is achieved without fine-tuning the CNN model on the target image set.

연구 동기 및 목표

• 훈련 데이터와 크게 다를 경우 일반화 능력이 제한된 CNN의 문제를 해결하기 위해.
• 대규모 훈련 데이터를 바탕으로 하더라도 최신 CNN 모델이 이질적인 이미지에서 실패하는 이유를 규명하기 위해.
• 새로운 데이터에 대해 미세조정 없이 typicality 인식 훈련이 일반화 능력을 향상시킬 수 있는지 탐색하기 위해.
• 외부 및 내부 typicality 신호의 효과를 평가하여 모델의 강건성 향상에 기여하는지 확인하기 위해.
• 일반화 능력을 향상시키기 위해 typical 및 이질적 샘플 간의 최적의 가중치 전략을 도출하기 위해.

제안 방법

• 저자는 typicality 점수에 기반해 훈련 샘플을 가중치화하는 typicality-가중 손실 함수를 도입하였으며, 이는 MS-Hinge 손실을 사용한다.
• typicality 점수는 이미지 특징에 대해 일종의 SVM을 사용하여 외부적으로 계산하거나, 네트워크 활성도(예: 내부 확률 또는 엔트로피)를 통해 내부적으로 계산한다.
• typicality 점수를 샘플 가중치로 매핑하기 위해 선형, 로그, 지수, 다항식 함수를 다양한 방식으로 적용한다.
• 교차 엔트로피 손실에 typicality 기반 가중치를 통합한 수정된 손실 함수를 사용하여 표현 학습을 향상시킨다.
• 모델는 소규모 검증 세트에서 한 번의 미세조정만을 적용하며, 일반적인 테스트 세트와 이질적인 테스트 세트에서 성능을 평가한다.
• 이 방법은 AlexNet과 같은 여러 CNN 아키텍처 및 ImageNet, PASCAL 등의 데이터셋을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 훈련 손실에 typicality 정보를 통합하면 CNN의 이질적 이미지에 대한 일반화 능력 향상에 기여할 수 있는가?
• RQ2 외부(예: 일종의 SVM) 또는 내부(예: 네트워크 활성도 통계) typicality 신호를 사용할 경우 성능 향상이 이루어지는가?
• RQ3 typical 및 이질적 샘플을 대칭적으로 가중치화하는 방식이 표준 또는 무작위 가중치화 방식과 비교해 일반화 능력에 어떤 영향을 미치는가?
• RQ4 typicality 기반 훈련은 단일 훈련 에포크 이후 빠른 수렴과 향상된 성능를 이끌어낼 수 있는가?
• RQ5 대규모 훈련 데이터를 사용함에도 불구하고 CNN이 이질적 이미지에서 실패하는 이유는 무엇이며, typicality 기반 재가중치화가 이를 완화할 수 있는가?

주요 결과

• 제안된 typicality-가중 훈련 방법은 AlexNet을 사용하여 이질적 테스트 이미지에서 최상위 1위 정확도 44.73%를 기록하였으며, 기준 모델(30.03%) 대비 14.7% 향상된 성능을 보였다.
• 무작위 및 typicality 기반 외의 가중치화 방법보다 성능이 뛰어나며, 다항식의 차수 6 함수가 이질적 세트에서 가장 높은 정확도를 기록하였다.
• 단 한 번의 훈련 에포크 후에도 typicality 가중치화를 사용할 경우 이질적 이미지에서 52.72%의 정확도를 달성하였으며, 표준 훈련 방식은 48.40%에 머물렀다.
• PASCAL 이미지에서의 미세조정은 ImageNet에서의 성능 향상보다 더 높은 성과를 보였으며, 이는 PASCAL 데이터셋의 다양성이 typicality 가중치화의 효과를 극대화시킨다는 것을 시사한다.
• 더 깊은 레이어(예: 상위 3개의 완전 연결 레이어)에서의 미세조정은 이질적 이미지에서 일반화 능력을 떨어뜨렸으며, 이는 제한된 데이터에 대한 과적합 때문일 가능성이 높다.
• 내부 typicality 신호(예: 내부 엔트로피 또는 확률)도 경쟁적인 성능를 보였으며, 이는 typicality 정보가 네트워크 자체에서 추출될 수 있음을 보여준다.