[논문 리뷰] Mixture of Pre-processing Experts Model for Noise Robust Deep Learning on Resource Constrained Platforms

Taesik Na, Minah Lee외 4명|arXiv (Cornell University)|2019. 04. 29.

Advanced Neural Network Applications참고 문헌 20인용 수 4

한 줄 요약

이 논문은 노이즈가 많고 품질이 낮은 입력 조건에서 자원이 제한된 엣지 디바이스에서 딥러닝의 강건성을 향상시키기 위해 경량의 프리프로세싱 전문가 혼합(MoPE) 모델을 제안한다. 게이팅 네트워크를 사용하여 정체성, 평균 필터링, 또는 적대적으로 훈련된 오토에인코더 전문가 중에서 동적으로 선택함으로써, MoPE는 기준 모델 대비 메모리 0.67%와 연산 0.17%의 추가 오버헤드만으로 노이즈가 있는 데이터에서 객체 검출, 추적, 활동 분류 정확도를 향상시킨다.

ABSTRACT

Deep learning on an edge device requires energy efficient operation due to ever diminishing power budget. Intentional low quality data during the data acquisition for longer battery life, and natural noise from the low cost sensor degrade the quality of target output which hinders adoption of deep learning on an edge device. To overcome these problems, we propose simple yet efficient mixture of pre-processing experts (MoPE) model to handle various image distortions including low resolution and noisy images. We also propose to use adversarially trained auto encoder as a pre-processing expert for the noisy images. We evaluate our proposed method for various machine learning tasks including object detection on MS-COCO 2014 dataset, multiple object tracking problem on MOT-Challenge dataset, and human activity classification on UCF 101 dataset. Experimental results show that the proposed method achieves better detection, tracking and activity classification accuracies under noise without sacrificing accuracies for the clean images. The overheads of our proposed MoPE are 0.67% and 0.17% in terms of memory and computation compared to the baseline object detection network.

연구 동기 및 목표

• 센서 노이즈와 저해상도 입력으로 인해 모델 성능이 저하되는 전력 제약이 있는 엣지 디바이스에서 딥러닝을 구현하는 데 도전하는 것.
• 청결한 데이터에서는 높은 정확도를 유지하면서도 노이즈 또는 저품질 입력에서의 강건성을 향상시키기 위한 가벼운 효율적인 프리프로세싱 솔루션을 개발하는 것.
• 입력 품질에 따라 적절한 프리프로세싱 전문가로 입력을 라우팅하기 위해 동적 게이팅 메커니즘을 사용하여 엣지 배포 시 계산 및 메모리 오버헤드를 최소화하는 것.
• 객체 검출, 다중 객체 추적, 인간 활동 분류와 같은 다양한 작업에서 MoPE의 효과성을 입증하는 것.
• MoPE가 데이터 증강 및 고정된 프리프로세싱 모듈보다 청결한 데이터 및 노이즈가 있는 데이터 상황 모두에서 성능이 뛰어나다는 것을 보여주는 것.

제안 방법

• 입력 이미지 분포(청결, 노이즈, 저해상도)를 분류하고 적절한 프리프로세싱 전문가로 라우팅하기 위해 게이팅 네트워크를 훈련한다.
• 세 가지 프리프로세싱 전문가를 사용한다: 정체성(청결/저해상도용), 평균 필터링(저해상도용), 그리고 스킵 연결이 있는 적대적으로 훈련된 오토에인코더(노이즈가 많은 이미지용).
• 적대적으로 훈련된 오토에인코더는 노이즈가 있는 입력에서 청결한 이미지를 재구성하면서도 구조적 세부 정보를 유지하고, 공간 왜곡을 유발하지 않도록 최적화된다.
• MoPE 프레임워크는 주요 딥 네트워크(예: Faster R-CNN, Inception V2) 이전에 통합되며, 프리프로세싱된 출력이 브레인 네트워크로 입력된다.
• 게이팅 네트워크는 입력 품질에 기반한 라우팅 결정을 최적화하기 위해 교차 엔트로피 손실을 사용하여 주 작업 네트워크와 함께 엔드 투 엔드로 훈련된다.
• 게이팅 네트워크와 노이즈 제거 오토에인코더 모두에 작은 아키텍처를 사용하여 엣지 플랫폼에서 거의 영향을 주지 않는 오버헤드를 확보하기 위해 모델 복잡도를 최소화한다.

실험 결과

연구 질문

• RQ1 청결한 데이터의 정확도를 떨어뜨리지 않고도 노이즈가 많고 품질이 낮은 입력에서 딥러닝 성능을 향상시키기 위해 동적 프리프로세싱 파이프라인을 사용할 수 있는가?
• RQ2 엣지 디바이스에서 메모리와 계산 오버헤드를 최소화하기 위해 어떻게 경량의 전문가 혼합을 설계할 수 있는가?
• RQ3 노이즈 조건 하에서 전통적인 필터링 방법보다 적대적으로 훈련된 오토에인코더를 프리프로세싱 전문가로 사용할 경우, 검출 및 분류 정확도를 유지하는 데 더 효과적인가?
• RQ4 MoPE는 객체 검출, 다중 객체 추적, 인간 활동 인식과 같은 다양한 딥러닝 작업으로 일반화될 수 있는가?
• RQ5 엣지 플랫폼에 기존 딥러닝 모델에 MoPE를 통합할 경우 실제 메모리 및 계산 오버헤드는 얼마인가?

주요 결과

• MS-COCO 2014 데이터셋에서, MoPE는 가우시안 노이즈(σ=0.15) 조건 하에서 IoU=0.5일 때 평균 정밀도(mAP) 0.531을 달성하여 기준 모델 및 데이터 증강 모델을 모두 능가했다.
• MOT-Challenge에서 다중 객체 추적 작업을 수행한 결과, 노이즈 제거 전문가를 사용한 MoPE는 청결한 조건과 노이즈가 있는 조건 모두에서 모든 기준 모델(데이터 증강 포함)보다 높은 MOTA 점수를 기록했다.
• UCF 101에서 인간 활동 분류 작업을 수행한 결과, MoPE는 노이즈가 있는 데이터(σ=0.15)에서 정확도를 0.531로 향상시켰고, 데이터 증강 모델은 0.492, 기준 모델은 0.157이었다.
• 기준 Faster R-CNN에 Inception V2를 사용한 모델 대비 MoPE 모델은 추가로 0.67%의 메모리와 0.17%의 계산 오버헤드만을 유발했다.
• 게이팅 네트워크는 입력을 적절한 전문가로 성공적으로 라우팅했으며, 노이즈가 있는 입력에는 노이즈 제거 오토에인코더가 선택되었고, 청결하거나 저해상도 입력에는 정체성이 선택되었다.
• 이 방법은 합성곱 및 순환 네트워크 모두에서 일관된 성능 향상을 보였으며, 다양한 딥러닝 작업에 적용 가능함을 입증했다.