[논문 리뷰] Revisit Lmser and its further development based on convolutional layers

Wenjing Huang, Shikui Tu외 1명|arXiv (Cornell University)|2019. 04. 12.

Fire Detection and Safety Systems참고 문헌 15인용 수 6

한 줄 요약

이 논문은 원래 대칭이고 가중치가 묶인 자동에코더였던 1991년 Lmser 네트워크를 재검토하여 이미지 작업을 위한 딥 컨볼루션 아키텍처로 확장한다. Lmser에 컨볼루션 레이어를 적용하면 안정적인 훈련이 가능하고 이미지 복원, 생성, 연상 기억, 분류 작업에서 뛰어난 성능을 달성함으로써 현대 딥 러닝 환경에서의 타당성과 유연성을 확인한다.

ABSTRACT

Proposed in 1991, Least Mean Square Error Reconstruction for self-organizing network, shortly Lmser, was a further development of the traditional auto-encoder (AE) by folding the architecture with respect to the central coding layer and thus leading to the features of symmetric weights and neurons, as well as jointly supervised and unsupervised learning. However, its advantages were only demonstrated in a one-hidden-layer implementation due to the lack of computing resources and big data at that time. In this paper, we revisit Lmser from the perspective of deep learning, develop Lmser network based on multiple convolutional layers, which is more suitable for image-related tasks, and confirm several Lmser functions with preliminary demonstrations on image recognition, reconstruction, association recall, and so on. Experiments demonstrate that Lmser indeed works as indicated in the original paper, and it has promising performance in various applications.

연구 동기 및 목표

• 기존에 계산 자원 제약으로 인해 단일 레이어의 완전 연결 네트워크로 제한되었던 원래의 Lmser 네트워크를 재검토하고, 이를 딥, 다중 레이어 아키텍처로 확장한다.
• 이미지 관련 작업(예: 인식, 복원, 생성 등)에서 성능을 향상시키기 위해 Lmser를 컨볼루션 신경망(CNN) 아키텍처에 적응시킨다.
• 대규모 딥 네트워크에서 Lmser의 핵심 기능(예: 대칭적 가중치 묶음, 병행된 지도/비지도 학습, 연상 기억)을 경험적으로 검증한다.
• Lmser에 컨볼루션 레이어를 적용하더라도 MNIST, 패션-MNIST, CelebA와 같은 복잡한 이미지 데이터셋에 대해 안정성과 일반화 능력을 유지함을 보여준다.
• 대칭적이고 이중 방향 구조를 활용하여 제어 가능한 이미지 생성과 부분 입력 복구 잠재력 탐색

제안 방법

• 대칭적 가중치 묶음을 갖춘 딥 Lmser 네트워크 제안: 인코더와 디코더가 동일한 아키텍처를 가지며, 동일한 가중치(W와 W^T)를 공유함으로써 이중 방향 신호 전파를 가능하게 한다.
• Lmser 프레임워크를 완전 연결 레이어에서 컨볼루션 레이어로 확장하여, 인코더 및 디코더 경로에서 가중치 대칭성을 유지하기 위해 공유된 역전치 필터와 컨볼루션 필터를 사용한다.
• 이중 단계 학습 메커니즘 도입: 신호 균형을 확보하기 위해 정방향 및 역방향 전파를 수행하는 인식 단계 이후, 평균 제곱 오차(MSE) 손실을 사용해 가중치를 갱신하는 학습 단계를 수행한다.
• 중앙 코드 레이어의 일부를 레이블 예측에 사용하여 지도 학습을 통합함으로써 비지도 학습과 지도 학습을 병행하는 지도 Lmser를 도입한다.
• 인코더와 디코더의 대칭적 뉴런 간에 스킵 커넥션을 적용하여 특징 복원 및 안정성을 향상시킨다.
• 표준 데이터셋(MNIST, 패션-MNIST, CelebA)을 사용해 이미지 작업에 네트워크를 적용하고, 역전파를 통한 훈련 및 복원, 생성, 연상 기억 평가 수행

실험 결과

연구 질문

• RQ1 원래의 Lmser 네트워크는 안정성과 이미지 작업 성능을 유지하면서 딥, 다중 레이어 컨볼루션 아키텍처로 성공적으로 확장될 수 있는가?
• RQ2 Lmser의 대칭적 가중치 묶음과 이중 방향 구조는 딥 CNN 환경에서 효과적인 이미지 복원 및 생성을 가능하게 하는가?
• RQ3 Lmser는 대칭적이고 가역적인 구조를 활용하여 마스크된 얼굴 이미지와 같은 부분 입력으로부터 연상 기억을 수행할 수 있는가?
• RQ4 이미지 데이터셋에서 복원, 생성, 분류 작업에서 표준 자동에코더(AE)에 비해 Lmser의 성능는 어떠한가?
• RQ5 중앙 코드 레이어의 잠재 코드 유닛을 조작함으로써 Lmser는 얼마나 제어 가능한 이미지 생성을 지원할 수 있는가?

주요 결과

• 컨볼루션 레이어를 갖춘 딥 Lmser 네트워크는 안정적이고 효과적으로 훈련되며, 원래의 Lmser 아키텍처가 딥 러닝 환경에서 타당함을 확인한다.
• 컨볼루션 레이어를 갖춘 Lmser는 고품질의 이미지 복원 및 생성을 달성하며, 합성된 이미지가 타당한 구조를 가지며 스타일과 형태의 제어 가능한 변형을 보여준다.
• 개별 잠재 코드 유닛을 조작함으로써 제어 가능한 이미지 생성이 입증되었다: 예를 들어, 한 코드 유닛을 점진적으로 변화시켜 숫자를 새로운 스타일(예: 머리 위에 원 추가)로 변형하거나 기울기를 조절함으로써 잘 정렬되고 군집화된 특징 표현이 있음을 시사한다.
• 마스크된 눈과 같은 부분 입력에서의 연상 기억은 성공적으로 달성되었으며, 재구성된 이미지가 정답과 유사한 결과를 보여, 대칭적 이중 방향 추론을 통해 누락된 부분을 추론할 수 있음을 입증한다.
• 실험 결과, Lmser는 특히 다양한 새로운 샘플을 생성하는 데서 표준 자동에코더보다 복원 및 생성 작업에서 뛰어난 성능을 보였다.
• 대칭적 가중치 묶음과 공유된 뉴런의 사용은 입력과 재구성된 데이터 간의 안정적이고 가역적인 매핑을 가능하게 하여 비지도 학습과 병행된 지도 학습을 지원한다.