[논문 리뷰] Deep Neural Maps

Mehran Pesteie, Purang Abolmaesumi외 1명|arXiv (Cornell University)|2018. 02. 12.

Neural Networks and Applications인용 수 2

한 줄 요약

딥 뉴럴 매프(DNM)는 딥 컨volution 네트워크와 자기조직화 맵를 조합하여 데이터 임베딩을 공동으로 학습하고 2차원 격자에 매핑하는 비지도 표현 학습 방법을 제안한다. 이 방법은 효율적이고 클래스 구분 능력이 뛰어난 표현을 생성하며, 맵 뉴런을 입력 공간에 역으로 투영함으로써 검증되었으며, MNIST와 COIL-20에서 t-SNE와 LLE보다 더 높은 시각화 정확도를 보였다.

ABSTRACT

We introduce a new unsupervised representation learning and visualization using deep convolutional networks and self organizing maps called Deep Neural Maps (DNM). DNM jointly learns an embedding of the input data and a mapping from the embedding space to a two-dimensional lattice. We compare visualizations of DNM with those of t-SNE and LLE on the MNIST and COIL-20 data sets. Our experiments show that the DNM can learn efficient representations of the input data, which reflects characteristics of each class. This is shown via back-projecting the neurons of the map on the data space.

연구 동기 및 목표

• 딥 컨볼루션 네트워크와 자기조직화 맵를 통합하여 개선된 데이터 시각화를 위한 새로운 비지도 표현 학습 프레임워크를 개발한다.
• 입력 데이터의 공동 임베딩과 2차원 위상적 맵핑을 학습하여 클래스 구조를 유지한다.
• 기존의 t-SNE와 LLE보다 더 효과적으로 내재된 데이터 특성과 클래스 분리 가능성을 반영하는 시각화를 생성한다.
• 맵 뉴런을 입력 데이터 공간으로 역으로 투영함으로써 해석 가능한 시각화를 가능하게 한다.

제안 방법

• DNM는 입력 데이터로부터 계층적 특징 표현을 학습하기 위해 딥 컨volution 네트워크를 사용한다.
• 자기조직화 맵 구성요소는 학습된 임베딩을 국소적 이웃 관계를 유지하면서 2차원 격자에 매핑한다.
• 특징 학습과 위상 맵핑을 동시에 최적화하기 위해 통합 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 훈련한다.
• 이 방법은 맵의 뉴런을 입력 공간으로 역으로 투영할 수 있으며, 학습된 특징의 시각화를 가능하게 한다.
• 아무런 레이블 데이터가 필요 없이 표현 학습과 위상 조직의 공동 최적화를 지원하는 아키텍처를 갖춘다.

실험 결과

연구 질문

• RQ1 딥 네트워크와 자기조직화 맵를 조합한 방법이 기존 비지도 방법보다 더 의미 있고 클래스에 구분 능력이 뛰어난 데이터 표현을 학습할 수 있는가?
• RQ2 2차원 맵가 데이터의 내재된 구조, 특히 클래스 경계를 얼마나 잘 유지하는가?
• RQ3 맵 뉴런의 역으로 투영이 입력 공간에서 의미 있는 특징을 드러내는 데 얼마나 효과적인가?
• RQ4 DNM는 MNIST와 COIL-20에서 복잡한 데이터 분포를 어떻게 t-SNE와 LLE보다 더 잘 시각화하는가?

주요 결과

• DNM는 각 데이터 클래스의 주요 특징을 잘 반영하는 효율적이고 클래스를 반영하는 표현을 성공적으로 학습한다.
• MNIST와 COIL-20에서 DNM가 생성한 2차원 맵는 t-SNE와 LLE보다 국소적 및 전반적 데이터 구조를 더 효과적으로 유지한다.
• 맵에서 입력 공간으로의 뉴런 역투영을 통해 특정 데이터 패턴에 해당하는 의미 있고 해석 가능한 특징을 드러낸다.
• 임베딩과 위상 맵핑의 공동 학습은 더 일관되고 의미 있는 시각화를 이끈다.