[논문 리뷰] Auto-encoders: reconstruction versus compression

Yann Ollivier|arXiv (Cornell University)|2014. 03. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 17

한 줄 요약

이 논문은 재구성 오차 최소화와 최소 기술 길이(MDL) 원리를 통한 데이터 압축 사이의 이론적 연결 고리를 설정한다. 최적의 압축에 해당하는 코드 길이 최소화를 위해서는 재구성 오차에 정보 이론적 정규화 항을 추가해야 하며, 이는 특징에서 출력으로 향하는 노이즈 제거 기준에 해당하고, 노이즈 수준을 데이터에 따라 최적화할 수 있도록 한다.

ABSTRACT

We discuss the similarities and differences between training an auto-encoder to minimize the reconstruction error, and training the same auto-encoder to compress the data via a generative model. Minimizing a codelength for the data using an auto-encoder is equivalent to minimizing the reconstruction error plus some correcting terms which have an interpretation as either a denoising or contractive property of the decoding function. These terms are related but not identical to those used in denoising or contractive auto-encoders [Vincent et al. 2010, Rifai et al. 2011]. In particular, the codelength viewpoint fully determines an optimal noise level for the denoising criterion.

연구 동기 및 목표

• 자동에코더에서 재구성 오차 최소화와 최적의 압축을 위한 데이터 코드 길이 최소화 사이의 관계를 조사하는 것.
• 기본 자동에코더 학습이 코드 길이 최소화를 암묵적으로 수행하는지 여부를 확인하고, 그렇지 않다면 필요한 수정 사항을 도출하는 것.
• 재구성 오차와 정보 이론적 정규화 항을 모두 포함하는 코드 길이에 대한 변동형 상한을 유도하는 것.
• 코드 길이 프레임워크를 노이즈 제거 및 수축형 자동에코더와 연결하여, MDL이 최적의 하이퍼파rameter(예: 노이즈 수준)를 결정하는 방식을 보여주는 것.
• 출력 분산을 학습 가능한 파라미터로 포함함으로써 압축 경계를 향상시키고 상대 오차 최소화와의 일치를 도모하는 방식을 탐색하는 것.

제안 방법

• 최소 기술 길이(MDL) 원리를 사용하여 자동에코딩을 데이터 압축 문제로 재정의하며, 목표는 데이터의 코드 길이를 최소화하는 것이다.
• 변동형 경계를 적용하여 재구성 오차와 추가 정규화 항에 의존하는 코드 길이의 상한을 도출한다.
• 연속적인 특징 공간에 대해 유효한 날카운 코드 길이 경계를 유도한다(정리 2), 이는 인코더와 디코더가 확률적으로 역함수일 때 진짜 코드 길이에 수렴한다.
• 특징에서 출력으로 향하는 노이즈 제거 기준을 도입하며, 재구성 함수의 역행렬 헤시안에 기반한 최적의 노이즈 수준을 유도한다.
• 수축형 자동에코더를 MDL 관점에서 재해석하여, 코드 길이 최소화가 출력에서 특징으로 향하는 큰 도함수를 페널티로 삼으며, 자코비안의 행렬 노름에 기반한 페널티 항을 제시한다.
• 출력 분산을 파라미터로 포함하여 압축 경계를 향상시키며, 제곱 오차의 로그와 양자화 노이즈를 포함하는 재구성 목표를 제안한다.

실험 결과

연구 질문

• RQ1 자동에코더에서 재구성 오차를 최소화하는 것이 MDL 원리에 따라 데이터의 코드 길이 최소화와 일치하는가?
• RQ2 재구성 오차 학습을 코드 길이 최소화와 동일하게 만들기 위해 추가로 필요한 정규화 항은 무엇인가?
• RQ3 MDL 프레임워크는 노이즈 제거 자동에코더에 대해 최적의, 데이터에 의존하는 노이즈 수준을 결정할 수 있는가? 그리고 고정된 노이즈 수준과 어떻게 다를까?
• RQ4 코드 길이 최소화 기준은 수축형 자동에코더와 어떻게 관련이 있는가? 자코비안에 대한 페널티 구조는 어떻게 되는가?
• RQ5 출력 분산을 학습 가능한 파라미터로 모델링할 경우 코드 길이 경계와 재구성 오차에 어떤 영향을 미치는가?

주요 결과

• 재구성 오차 최소화만으로는 코드 길이를 최소화하지 못하며, 최적의 압축을 달성하기 위해 추가 정보 이론적 항이 필요하다.
• 코드 길이 경계에는 특징에서 출력으로 향하는 노이즈 제거 페널티가 포함되어 있으며, 이는 이전 연구에서 사용된 입력에서 특징으로 향하는 노이즈 제거와는 다릅니다.
• 노이즈 제거를 위한 최적의 노이즈 수준은 재구성 함수의 역행렬 헤시안에 의해 결정되며, 각 데이터 샘플에 대해 별도로 설정되어야 한다.
• 코드 길이 프레임워크는 특징에서 출력으로 향하는 큰 도함수를 페널티로 삼으며, 이는 표준 수축형 자동에코더에서 사용하는 프로베니우스 노름과 다릅니다.
• 출력 분산을 파라미터로 포함하면 제곱 오차의 로그를 최소화하는 재구성 목표가 도출되며, 이는 상대 오차 최소화와 일치하고 압축 경계를 향상시킨다.
• 변동형 코드 길이 경계는 인코더와 디코더가 확률적으로 역함수일 때 날카로워지며, 자동에코더를 압축을 위한 원칙적인 방법으로 학습시키는 데 유용하다.