[논문 리뷰] Quality Resilient Deep Neural Networks

Samuel Dodge, Lina J. Karam|arXiv (Cornell University)|2017. 03. 23.

Advanced Image Processing Techniques참고 문헌 20인용 수 33

한 줄 요약

이 논문은 특정 이미지 왜곡(예: 노이즈, 블러)에 대해 훈련된 전문화된 신경망 전문가들에 대해 게이팅 네트워크를 사용하여 입력을 동적으로 라우팅하고, 왜곡 레이블을 명시적으로 제공하지 않으면서도 가중치를 동적으로 할당하는 전문화된 신경망 전문가의 혼합 모델을 제안한다. 이 방법은 다양한 왜곡 상황에서도 강건한 분류 성능을 달성하며, 파rameter 효율적인 가중치 공유를 위한 Inverted-TreeNets를 도입하여 모델 크기를 최대 60%까지 줄였고, 표준 앙상블 모델 대비 정확도를 향상시켰다.

ABSTRACT

We study deep neural networks for classification of images with quality distortions. We first show that networks fine-tuned on distorted data greatly outperform the original networks when tested on distorted data. However, fine-tuned networks perform poorly on quality distortions that they have not been trained for. We propose a mixture of experts ensemble method that is robust to different types of distortions. The "experts" in our model are trained on a particular type of distortion. The output of the model is a weighted sum of the expert models, where the weights are determined by a separate gating network. The gating network is trained to predict optimal weights for a particular distortion type and level. During testing, the network is blind to the distortion level and type, yet can still assign appropriate weights to the expert models. We additionally investigate weight sharing methods for the mixture model and show that improved performance can be achieved with a large reduction in the number of unique network parameters.

연구 동기 및 목표

• 훈련 중에 관찰하지 못한 이미지 왜곡 유형에 대해 딥 네트워크의 일반화 성능이 열 劣하는 문제를 해결하기 위해.
• 왜곡 유형이나 수준에 대한 사전 지식 없이도 여러 종류의 왜곡(예: 노이즈, 블러)에 대해 강건성을 향상시키기 위해.
• 새로운 가중치 공유 전략을 통해 앙상블 모델의 파라미터 수를 줄이되, 성능을 유지하거나 향상시키기 위해.
• 왜곡 유형을 명시적으로 탐지하지 않고도 입력 특성에 기반해 최적의 전문가 가중치를 자동으로 할당하는 시스템을 개발하기 위해.

제안 방법

• 각 전문가가 특정 왜곡 유형(예: 가우시안 노이즈 또는 블러)에 대해 미세조정된 딥 네트워크인 전문가 혼합 앙상블을 구성한다.
• 입력 이미지에 기반해 각 전문가의 최적 가중치를 예측하는 별도의 게이팅 네트워크를 사용하여, 왜곡 레이블 없이도 동적 라우팅을 가능하게 한다.
• 게이팅 네트워크는 분류 오차를 최소화하도록 엔드 투 엔드로 훈련되며, 입력의 왜곡 특성에 적합한 전문가에게 높은 가중치를 할당하도록 학습한다.
• 초기 레이어는 전문가 간에 공유되고, 후속 레이어는 전문화된 구조를 가지며, 기존 트리 구조를 뒤집어 파라미터를 줄이는 Inverted-TreeNets를 도입한다.
• 예: Conv2_1에서 FC8까지의 다양한 네트워크 레이어에서 가중치 공유를 적용하며, 분석 실험을 통해 분기 지점에 따른 성능 상충을 분석한다.
• AUC를 주요 평가 지표로 사용하여 Caltech101, Caltech256, Scene67 데이터셋에서 노이즈 및 블러 왜곡 상황에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 단일 모델의 미세조정 또는 유니온 훈련 대비, 전문가 혼합 모델이 다수의 이미지 왜곡에 대해 더 높은 강건성을 확보할 수 있는가?
• RQ2 다양한 왜곡 유형에서 가중치가 부여된 앙상블의 성능은 단순 평균화나 단일 모델의 미세조정 대비 어떻게 다른가?
• RQ3 전문가 혼합 아키텍처에서의 가중치 공유 전략이 모델 크기를 크게 줄일 수 있는가, 동시에 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 후속 레이어를 공유하고 초기 레이어를 전문화시키는 Inverted-TreeNet 아키텍처가 기존 트리 기반 가중치 공유 전략에 비해 정확도 및 효율성 면에서 뛰어난가?
• RQ5 왜곡 유형이나 수준을 명시적으로 예측하지 않더라도 게이팅 네트워크가 전문가의 가중치를 효과적으로 할당할 수 있는가?

주요 결과

• 전문가 혼합 모델(M_mix)은 노이즈 및 블러 왜곡에 대해 평균 AUC 0.76을 기록하여, 개별 왜곡에 대해 훈련된 모델들(M_noise 및 M_blur)이 일반화 성능이 열 劣하는 것을 확인했다.
• FC7에서 분기점을 가지는 Inverted-TreeNet은 Caltech101에서 평균 AUC 0.78을 기록하여 전체 전문가 혼합 모델(0.76)과 유사한 파라미터 수를 가진 표준 TreeNet보다 뛰어난 성능을 보였다.
• FC6에서 분기점을 가지는 Inverted-TreeNet은 모델 파라미터를 389.35만(전체 모델 대비 404.62M 대비)으로 줄여 40% 감소시켰고, 높은 성능을 유지했다.
• FC7에서 분기점을 가지는 Inverted-TreeNet은 Caltech101에서 평균 AUC 0.77을 기록하여, 유사한 파라미터 수를 가진 표준 TreeNet(0.60 AUC)에 비해 뚜렷한 성능 향상을 보였다.
• 제안된 모델은 다양한 왜곡 유형에 대해 잘 일반화되어 있으며, 노이즈와 블러 상황 모두에서 정확하게 분류할 수 있었고, 단일 미세조정 모델은 새로운 왜곡에 대해 실패했다.
• 왜곡 레이블을 명시적으로 제공하지 않더라도 게이팅 네트워크가 적절한 전문가 가중치를 할당하는 데 성공하여, 입력 특성에 기반한 동적 라우팅 능력을 입증했다.