[논문 리뷰] Learning Representations by Maximizing Compression

Karol Gregor, Yann LeCun|arXiv (Cornell University)|2011. 08. 04.

Neural Networks and Applications참고 문헌 8인용 수 9

한 줄 요약

이 논문은 학습 가능한 오토에인코더 유사 아키텍처를 사용하여 순차적으로 픽셀을 예측함으로써 이미지 데이터를 모델링하는 압축 기반 표현 학습 알고리즘을 제안한다. 순차적 순서에 따라 픽셀 예측의 가능도를 최대화함으로써, MNIST 및 USPS 데이터셋에서 최신 기술 수준의 압축 성능를 달성하며, RBM과 노이즈 제거 오토에인코더에서 유사한 해석 가능한 필터를 학습한다. 또한 산술 부호화를 통한 정확한 가능도 계산과 효율적인 샘플링을 가능하게 한다.

ABSTRACT

We give an algorithm that learns a representation of data through compression. The algorithm 1) predicts bits sequentially from those previously seen and 2) has a structure and a number of computations similar to an autoencoder. The likelihood under the model can be calculated exactly, and arithmetic coding can be used directly for compression. When training on digits the algorithm learns filters similar to those of restricted boltzman machines and denoising autoencoders. Independent samples can be drawn from the model by a single sweep through the pixels. The algorithm has a good compression performance when compared to other methods that work under random ordering of pixels.

연구 동기 및 목표

• 데이터 압축에 기반한 표현 학습 알고리즘을 개발하여, 복잡한 고차원 데이터 분포를 순차적 픽셀 예측을 통해 모델링한다.
• 모델 하에서 관측된 데이터의 정확한 가능도 계산을 가능하게 하여 산술 부호화를 직접 적용한 압축을 가능하게 한다.
• 랜덤 픽셀 순서에 대해 일반화되는 의미 있는 분리된 표현을 엔드 투 엔드 학습을 통해 학습한다.
• 압축 성능이 학습된 표현의 품질과 상관관계가 있음을 보여주기 위해, MNIST 및 USPS를 기준으로 한다.

제안 방법

• 모델은 직접 경로(R)와 은닉층을 통과하는 비선형 경로(UV)를 갖는 이중 경로 아키텍처를 사용하여 이전에 관측된 픽셀들로부터 순차적으로 각 픽셀을 예측한다. 두 경로의 출력이 결합되고, 최종 출력 확률을 위해 시그모이드 함수를 통과시킨다.
• 은닉층 상태는 현재 픽셀 값과 학습된 가중치만을 사용하여 점진적으로 갱신되며, 이는 픽셀당 O(nh nx + nx^2) 연산으로 효율적인 온라인 추론을 가능하게 한다.
• 모델은 관측된 픽셀 값의 로그 가능도를 최대화함으로써 학습되며, 이는 이진 교차 엔트로피 손실을 사용한다: L = -Σ[xi log(yi) + (1-xi) log(1-yi)].
• 이 아키텍처는 정확한 가능도 추정을 지원하며, 예측된 확률을 사용해 단일 픽셀 스캔을 통해 모델에서 샘플링을 가능하게 한다.
• 과적합을 방지하기 위해 L2 가중치 감소와 조기 정지 기법을 사용하여 정규화한다. 특히 은닉 유닛 수를 늘릴 경우에 효과적이다.
• 픽셀 분포를 단순한 일변량 분포(예: 정규분포)의 혼합모형으로 모델링하여 실수값 데이터로의 확장이 가능하다.

실험 결과

연구 질문

• RQ1 순차적으로 픽셀을 예측함으로써 데이터를 압축하는 모델이 의미 있는 분리된 표현을 학습할 수 있는가?
• RQ2 이러한 압축 기반 학습 방법은 RBM과 노이즈 제거 오토에인코더와 같은 기존 생성 모델과 비교해 압축 성능와 표현 품질 측면에서 어떻게 성능을 내는가?
• RQ3 정확한 가능도 계산이 가능한 모델의 능력이 근사 추론 없이도 효과적인 압축과 샘플링을 가능하게 하는가?
• RQ4 이 방법은 랜덤 픽셀 순서에 대해 얼마나 강건한가? 그리고 이러한 조건에서 DjVu와 같은 컨텍스트 기반 시스템보다 우수한 성능을 내는가?

주요 결과

• 200개의 은닉 유닛을 사용하여, USPS 데이터셋에서 84.5 비트/이미지, MNIST 데이터셋에서 94.8 비트/이미지의 성능을 달성하며, RBM과 헤링딩을 포함한 기준 방법들을 초월한다.
• 1000개의 은닉 유닛과 정규화를 사용할 경우, MNIST에서 81.0 비트/이미지의 성능을 달성하여, 랜덤 픽셀 순서에서도 강력한 압축 성능을 보였다.
• 학습된 필터는 획과 가장자리 검출기와 유사하게 보이며, RBM과 노이즈 제거 오토에인코더에서 학습된 특징과 유사한 해석 가능성과 유사성을 보였다.
• 정확한 가능도 계산이 가능하며, 산술 부호화를 직접 적용할 수 있어 압축된 비트스트림이 모델의 로그 가능도와 정확히 일치한다.
• 샘플링은 예측된 확률을 기반으로 이전에 생성된 값들로부터 각 픽셀을 확률적으로 예측하는 단일 전방 전파를 통해 유의미한 숫자 이미지를 생성한다.
• 픽셀 분포를 단순한 일변량 분포(예: 정규분포)의 혼합모형으로 모델링하여 실수값 데이터로의 일반화가 잘 이루어진다.