[논문 리뷰] Autoencoder Trees

Ozan İrsoy, Ethem Alpaydın|arXiv (Cornell University)|2014. 09. 26.

Neural Networks and Applications참고 문헌 5인용 수 6

한 줄 요약

이 논문은 인코딩과 디코딩을 모두 소프트 결정 트리로 수행하는 새로운 딥러닝 모델인 오토에인코더 트리(autodecoder trees)를 제안한다. 이 모델은 연속적이고 미분 가능한 트리를 학습하기 위해 확률적 경사 하강법을 사용하며, 손글씨 숫자 및 뉴스 데이터셋에서 강력한 재구성 성능을 보이는 계층적이고 저차원의 표현을 학습한다.

ABSTRACT

We discuss an autoencoder model in which the encoding and decoding functions are implemented by decision trees. We use the soft decision tree where internal nodes realize soft multivariate splits given by a gating function and the overall output is the average of all leaves weighted by the gating values on their path. The encoder tree takes the input and generates a lower dimensional representation in the leaves and the decoder tree takes this and reconstructs the original input. Exploiting the continuity of the trees, autoencoder trees are trained with stochastic gradient descent. On handwritten digit and news data, we see that the autoencoder trees yield good reconstruction error compared to traditional autoencoder perceptrons. We also see that the autoencoder tree captures hierarchical representations at different granularities of the data on its different levels and the leaves capture the localities in the input space.

연구 동기 및 목표

• 신경망 대신 결정 트리를 사용하여 미분 가능한 오토에인코더 아키텍처를 개발하는 것.
• 트리 구조의 인코더와 디코더를 통해 다양한 세분성 수준에서 계층적 표현 학습을 가능하게 하는 것.
• MNIST 및 뉴스 데이터와 같은 벤치마크 데이터셋에서 경쟁 가능한 재구성 오차를 달성하는 것.
• 결정 트리 기반 오토에인코더가 입력 공간 내 국소적 구조를 포착할 수 있는지 보여주는 것.

제안 방법

• 인코더는 입력을 낮은 차원의 잠재 공간으로 매핑하기 위해 소프트 결정 트리를 사용하며, 출력은 叶 노드들의 가중 평균이다.
• 디코더는 잠재 표현에서 원래 입력을 재구성하기 위해 두 번째 소프트 결정 트리를 활용한다.
• 소프트 분할은 경로를 따라 연속적인 주의 가중치를 할당하는 게이팅 함수를 통해 구현된다.
• 전체 모델은 소프트 트리 아키텍처의 연속성 덕분에 확률적 경사 하강법을 사용해 엔드 투 엔드로 훈련된다.
• 각 트리의 출력은 입력에 대한 미분 가능한 연속 함수이므로 backpropagation이 가능하다.
• 다양한 트리 수준이 서로 다른 세분성 수준의 특징을 포착하는 계층적 표현을 학습한다.

실험 결과

연구 질문

• RQ1 결정 트리를 오토에인코더 프레임워크의 인코더와 디코더로 효과적으로 사용할 수 있는가?
• RQ2 기존 퍼셉트론 기반 오토에인코더와 비교해 오토에인코더 트리는 입력 데이터를 얼마나 잘 재구성하는가?
• RQ3 오토에인코더 트리는 트리 구조의 다양한 수준에서 계층적 표현을 학습하는가?
• RQ4 소프트 결정 트리 아키텍처는 입력 공간 내 국소적 구조를 포착할 수 있는가?

주요 결과

• 오토에인코더 트리는 손글씨 숫자 및 뉴스 데이터셋에서 기존 오토에인코더 퍼셉트론과 비교해 양호한 재구성 오차를 달성한다.
• 모델은 트리 구조의 다양한 수준에서 다양한 세분성 수준의 계층적 표현을 포착한다.
• 인코더 트리의 叶는 입력 공간 내 국소적 영역에 대응하여 국소적 특징 학습을 나타낸다.
• 소프트 결정 트리 아키텍처의 연속적이고 미분 가능한 성질 덕분에 엔드 투 엔드 훈련이 가능하다.
• 결정 트리가 딥 오토에인코딩 아키텍처에서 효과적이고 해석 가능한 구성 요소가 될 수 있음을 모델이 입증한다.