[논문 리뷰] Denoising autoencoder with modulated lateral connections learns invariant representations of natural images

Antti Rasmus, Tapani Raiko외 1명|arXiv (Cornell University)|2014. 12. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 14

한 줄 요약

이 논문은 인코더 특징이 복원(reconstruction)을 조절할 수 있도록 허용함으로써, 더 높은 층에서 변하지 않는 추상적 표현을 학습할 수 있도록 조절 가능한 횡방향 연결을 갖춘 노이즈 제거 오토인코더를 제안한다. 이 방법은 노이즈 제거 성능을 크게 향상시키고, 더 깊은 층에서의 불변성(invariance)을 가속화하며, 감독 없이 다양한 선택적 풀링을 지원하여 감독 학습 파ipeline과의 호환성을 확보한다.

ABSTRACT

Suitable lateral connections between encoder and decoder are shown to allow higher layers of a denoising autoencoder (dAE) to focus on invariant representations. In regular autoencoders, detailed information needs to be carried through the highest layers but lateral connections from encoder to decoder relieve this pressure. It is shown that abstract invariant features can be translated to detailed reconstructions when invariant features are allowed to modulate the strength of the lateral connection. Three dAE structures with modulated and additive lateral connections, and without lateral connections were compared in experiments using real-world images. The experiments verify that adding modulated lateral connections to the model 1) improves the accuracy of the probability model for inputs, as measured by denoising performance; 2) results in representations whose degree of invariance grows faster towards the higher layers; and 3) supports the formation of diverse invariant poolings.

연구 동기 및 목표

• 비지도 오토인코더가 입력의 모든 세부 정보를 유지하는 데 반해, 감독 학습에서는 위치나 조명과 같은 관련 없는 변형에 대해 불변성을 요구하는 간극을 해결하기 위해.
• 인코더에서 디코더로의 횡방향 연결이 더 높은 층에서 세부 표현 대신 추상적이고 불변적인 특징에 집중하도록 할 수 있는지 조사하기 위해.
• 조절 가능한 횡방향 연결이 비지도 방식으로 다양한, 선택적이고 불변적인 풀링을 학습하는 데 모델의 능력을 향상시키는지 평가하기 위해.

제안 방법

• 인코더의 고층 특징에서 디코더로의 조절 가능한 횡방향 연결을 도입하여, 불변 특징이 복원 강도를 제어하도록 한다.
• 이차 오차 함수와 역전파를 사용한 노이즈 제거 오토인코더 프레임워크를 사용한다.
• 깊은 계층 구조를 효율적으로 훈련하고 표현 학습을 이끌기 위해 계층별 비용 함수를 적용한다.
• 결합된 가중치를 갖춘 ReLU를 사용하며, 음수 가중치는 OR 연산을 닮은 오목한 활성화 함수를 효과적으로 구현한다.
• 조절 가능한 횡방향 연결이 불변 특징과 복원 세부 정보를 조합하는 다중 곱셈 상호작용 메커니즘을 적용한다.
• 뉴런 행동과 고층에서의 풀링 다양성을 분석하기 위해 불변성 측정법과 유의미성 지표를 사용한다.

실험 결과

연구 질문

• RQ1 조절 가능한 횡방향 연결의 포함 여부가 노이즈 제거 오토인코더의 데이터 분포 모델링 능력에 영향을 미치는가?
• RQ2 횡방향 연결의 존재가 더 깊은 층에서 표현의 불변성 정도에 어떤 영향을 미치는가?
• RQ3 조절 가능한 횡방향 연결이 비지도 방식으로 다양한, 선택적이고 불변적인 풀링 연산의 형성에 기여할 수 있는가?
• RQ4 아키텍처가 층 크기와 고층에서의 특징 사용 간의 균형에 어떤 영향을 미치는가?
• RQ5 조절 가능한 횡방향 연결이 고층이 세부 정보보다 추상적이고 불변적인 특징에 집중하는 데 얼마나 기여하는가?

주요 결과

• 조절 가능한 횡방향 연결을 갖춘 모델은 유의미하게 향상된 노이즈 제거 성능를 보였으며, 이는 데이터의 더 정확한 확률 모델을 반영함을 시사한다.
• 조절 가능한 횡방향 연결이 있는 모델에서 고층 표현의 불변성이 더 빠르게 증가했으며, 이를 비교한 모델보다 뚜렷한 향상이 있었다.
• 조절 가능한 모델의 고층은 거의 전적으로 불변 표현에 집중하는 반면, 일반 오토인코더는 여전히 많은 세부 정보 민감성 뉴런을 유지했다.
• 조절 가능한 모델은 다양한 선택적 풀링을 많이 학습했으며, 각 Layer 1 뉴런이 여러 가지 질적으로 다른 풀링 그룹에 기여했다.
• 불변성은 음수의 결합 가중치와 강하게 연관되어 있었으며, 이는 ReLU 뉴런을 오목한 함수로 변형시켜 OR 연산을 닮은 선택적 풀링을 지원했다.
• 층 크기가 증가함에도 불구하고 조절 가능한 모델은 두 번째 층에서도 높은 불변성을 유지했으며, 이는 학습된 표현의 강건성과 확장성(스케일러빌리티)을 확인한다.