[논문 리뷰] Deep Transform and Metric Learning Network: Wedding Deep Dictionary Learning and Neural Networks

Wen Tang, Émilie Chouzenoux외 2명|arXiv (Cornell University)|2020. 02. 18.

Anomaly Detection Techniques and Applications참고 문헌 43인용 수 8

한 줄 요약

이 논문은 깊이 있는 사전 학습(DDL)과 순환 신경망(RNN)을 통합하여 깊이 있는 변환과 학습된 거리 척도를 함께 학습하는 새로운 딥 뉴럴 네트워크인 DeTraMe-Net을 제안한다. 각 DDL 레이어를 선형 변환과 RNN 기반의 Q-거리 척도 학습 모듈로 모델링함으로써, 이미지 분류에서 최고 성능을 기록하고 적대적 공격에 대해 향상된 내성성을 확보하며, 기존의 전통적 DDL 및 일반적인 CNN보다 뛰어난 성능을 발휘한다.

ABSTRACT

On account of its many successes in inference tasks and denoising applications, Dictionary Learning (DL) and its related sparse optimization problems have garnered a lot of research interest. While most solutions have focused on single layer dictionaries, the improved recently proposed Deep DL (DDL) methods have also fallen short on a number of issues. We propose herein, a novel DDL approach where each DL layer can be formulated as a combination of one linear layer and a Recurrent Neural Network (RNN). The RNN is shown to flexibly account for the layer-associated and learned metric. Our proposed work unveils new insights into Neural Networks and DDL and provides a new, efficient and competitive approach to jointly learn a deep transform and a metric for inference applications. Extensive experiments are carried out to demonstrate that the proposed method can not only outperform existing DDL but also state-of-the-art generic CNNs.

연구 동기 및 목표

• 기존의 깊이 있는 사전 학습(DDL) 방법이 일반적으로 분류 능력이 떨어지고 최적화 효율성이 떨어지는 문제를 해결하기 위해.
• 기존의 DDL 및 희소 코딩 프레임워크에서 발생하는 계산 비효율성과 기울기 전파 문제를 극복하기 위해.
• 학습된 거리 척도를 RNN 기반 반복적 해법기에 통합하여 깊이 있는 사전 학습과 기계적 프로그래밍을 통합하기 위해.
• 딥 변환과 적응형 거리 척도의 엔드 투 엔드 학습을 통해 특징 표현 및 분류 성능를 향상시키기 위해.
• 딥 레이어에서 구조적이고 데이터 기반의 거리 척도를 학습함으로써 적대적 편향에 대한 내성성을 향상시키기 위해.

제안 방법

• DeTraMe-Net의 각 레이어는 DDL 문제를 선형 변환 레이어와 RNN 기반의 Q-거리 척도 학습 모듈로 분해한다.
• RNN은 학습된 거리 척도 Q를 기반으로 한 비미분 가능하고 비볼록 최적화 프레임워크에서 유도된 프록시 오퍼레이터를 사용하여 희소 코딩 문제를 반복적으로 해결한다.
• 희소성은 이동된 ReLU 활성화 함수를 통해 강제되며, 이는 ℓ1 노름, 비음성 조건, 그리고 제곱형 규제의 복합 펜alties의 가까운 연산자에서 유도된다.
• 선형 레이어, RNN, 거리 척도 구성 요소의 파라미터를 함께 최적화하여 백프로파게이션을 사용해 엔드 투 엔드로 학습된다.
• 표준 ReLU 레이어를 Q-거리 척도 ReLU 유닛으로 교체함으로써, DeTraMe-PlainNet 및 DeTraMe-ResNet와 같은 다양한 아키텍처로 일반화된다.
• RNN은 고정된 반복 횟수(예: 2회)로 전개되어 기계적 프로그래밍을 가능하게 하고, 시간에 따른 효율적인 백프로파게이션을 보장한다.

실험 결과

연구 질문

• RQ1 분류 성능 향상을 위해 깊이 있는 변환과 데이터 적응형 거리 척도를 함께 학습할 수 있는 딥 뉴럴 네트워크 아키텍처를 설계할 수 있는가?
• RQ2 RNN을 사용하여 딥 네트워크 내에서 사전 학습의 학습된 거리 척도를 효과적으로 모델링하고 최적화할 수 있는가?
• RQ3 RNN 기반의 거리 척도 학습을 DDL에 통합하면 기존의 DDL 및 일반적인 CNN에 비해 이미지 분류 성능 향상에 기여하는가?
• RQ4 제안된 방법은 기존의 딥 네트워크보다 적대적 편향에 대해 더 뛰어난 내성성을 확보할 수 있는가?
• RQ5 기계적 프로그래밍 기반의 RNN 기반 해법기는 기존의 반복적 방법(FISTA 등)과 비교해 수렴성과 성능 측면에서 어떻게 다를까?

주요 결과

• DeTraMe-Net은 이미지 분류 벤치마크에서 기존의 깊이 있는 사전 학습 방법보다 뛰어난 성능을 보이며, 뛰어난 분류 능력을 입증한다.
• 표준 이미지 분류 데이터셋에서 최고 수준의 성능을 기록하며, 일반적인 컨volutional 신경망(CNN)을 초월한다.
• DeTraMe-Net은 적대적 공격에 대해 뚜렷이 향상된 내성성을 보이며, 학습된 거리 척도가 일반화 능력을 향상시킨다는 것을 시사한다.
• 추론 실험을 통해 RNN 기반의 Q-거리 척도 학습 통합이 성능 향상에 결정적인 역할을 하며, 특히 깊이 있는 아키텍처에서 두드러진다.
• 기계적 프로그래밍 기반의 RNN 수식은 안정적인 학습을 가능하게 하며, 기존 DDL에서 흔히 발생하는 악성 초기화 및 기울기 소실 문제를 피한다.
• 이론적 분석을 통해 RNN 기반 업데이트 규칙이 최적의 희소 표현으로 수렴하는 전치된 프론트-백워드 분할 알고리즘과 동일하다는 것이 확인되었다.