[논문 리뷰] The Description Length of Deep Learning Models

Léonard Blier, Yann Ollivier|arXiv (Cornell University)|2018. 02. 20.

Topic Modeling인용 수 39

한 줄 요약

이 논문은 모델 파라미터 인코딩을 고려할 때조차도 딥 뉴럴 네트워크가 강력한 데이터 압축을 달성할 수 있음을 보여주며, 큰 파라미터 수가 압축을 방해한다는 기대와 정면으로 배치된다. 사전적 인코딩(학습 중에 점진적으로 인코딩하는 방식)을 사용하여, 이는 명시적으로 이 목적을 위해 설계된 변분 추론보다 훨씬 우수한 압축 한계를 달성하며, 변분 방법의 이론적 MDL 원칙과의 일치에도 불구하고 핵심적인 비효율성을 드러낸다.

ABSTRACT

Solomonoff's general theory of inference and the Minimum Description Length principle formalize Occam's razor, and hold that a good model of data is a model that is good at losslessly compressing the data, including the cost of describing the model itself. Deep neural networks might seem to go against this principle given the large number of parameters to be encoded. We demonstrate experimentally the ability of deep neural networks to compress the training data even when accounting for parameter encoding. The compression viewpoint originally motivated the use of variational methods in neural networks. Unexpectedly, we found that these variational methods provide surprisingly poor compression bounds, despite being explicitly built to minimize such bounds. This might explain the relatively poor practical performance of variational methods in deep learning. On the other hand, simple incremental encoding methods yield excellent compression values on deep networks, vindicating Solomonoff's approach.

연구 동기 및 목표

• 모델 기술 길이를 고려할 때 딥 러닝 모델이 진정으로 데이터를 압축하는지 평가하여, 파라미터 수가 압축의 장벽이 되는 가정을 도전한다.
• 변분 추론 방법—설계상 기술 길이를 최소화하도록 되어 있음에도 불구하고 딥 네트워크에서 실질적으로 압축 성능이 떨어지는 이유를 조사한다.
• 다양한 압축 추정 기법(변분, 2부분, 베이지안, 사전적)을 딥 러닝 모델에서 실제 코드 길이 성능 측면에서 비교한다.
• 정보 이론 원리를 사용하여 모델 일반화, 압축 효율성, 예측 성능 간의 관계를 명확히 한다.
• 시험 정확도와 더 잘 관련되는 사전적 인코딩 기반의 실용적이고 날것의 압축 한계를 딥 네트워크에 제공한다.

제안 방법

• 모델 선택을 데이터 압축으로 간주하기 위해 데이터와 모델 파라미터의 총 코드 길이를 측정하기 위해 최소 기술 길이(MDL) 원칙을 사용한다.
• 사전적 인코딩을 사용: 현재 모델 상태를 사용하여 각 훈련 예제를 순차적으로 인코딩하며, 이는 일반화를 자연스럽게 압축 성능에 통합한다.
• 변분 추론(가중치에 대한 근사 사후분포 포함), 2부분 코드, 베이지안 통합에서의 코드 길이를 비교하며, MNIST와 CIFAR에서 표준 딥 러닝 아키텍처를 사용한다.
• 변분 목표를 진짜 베이지안 코드 길이의 상한선으로 측정하며, 근사 사후분포와 진짜 사후분포 간의 KL 발산 격차를 분석한다.
• 정규화와 현실적인 모델 행동을 확보하기 위해 훈련 중에 표준 딥 러닝 관행(드롭아웃, 조기 정지)을 적용한다.
• 실제 레이블과 임의의(가짜) 레이블에 대해 코드 길이를 경험적으로 평가하여, 모델이 정보를 진짜로 압축하는지 아니면 단지 데이터를 기억하기만 하는지 테스트한다.

실험 결과

연구 질문

• RQ1 큰 수의 파라미터를 가진다 해도, 모델 기술 길이를 고려할 때 딥 네트워크가 효과적인 데이터 압축을 달성할 수 있는가?
• RQ2 설계상 기술 길이를 최소화하도록 되어 있음에도 불구하고, 변분 추론 방법이 실질적으로 딥 네트워크에서 압축 성능이 떨어지는 이유는 무엇인가?
• RQ3 사전적, 변분, 2부분, 베이지안 등의 다양한 압축 추정 기법이 딥 러닝 모델에서 실제 코드 길이 성능 측면에서 어떻게 비교되는가?
• RQ4 압축 효율성이 딥 러닝 모델에서 일반화 성능과 시험 정확도와 얼마나 관련되어 있는가?
• RQ5 변분 방법의 실패 원인은 최적화 문제, 사후분포 근사의 열악함, 아니면 딥 러닝에서 베이지안 프레임워크의 본질적 한계 때문인가?

주요 결과

• 사전적 인코딩은 변분 추론보다 훨씬 뛰어난 압축 한계를 달성하며, MNIST와 CIFAR 데이터셋에서 코드 길이가 최대 한 계단 어림으로 낮아진다.
• 설계상 기술 길이를 최소화하도록 되어 있음에도 불구하고 변분 추론은 압축 성능이 열악하여, 딥 러닝에서 이론과 실천 간의 근본적인 괴리가 있음을 시사한다.
• 임의의 레이블로 훈련된 모델은 데이터를 압축하지 못하며, 코드 길이가 균일 인코딩에 가까워짐으로써 정보가 학습되지 않았음을 확인한다.
• 사전적 코드 길이와 시험 세트 성능 간의 상관관계가 높아, 좋은 압축은 일반화 능력의 신뢰할 수 있는 지표임을 시사한다.
• 변분 코드 길이와 진짜 베이지안 코드 길이 간 격차가 크며, 최적의 변분 파rameter를 사용하더라도 근사 사후분포가 진짜 사후분포를 잘 근사하지 못하고 있음을 시사한다.
• 결과는 솔로몬오프의 MDL 원칙을 검증한다: 적절한 인코딩이 사용될 경우 딥 네트워크는 효과적으로 데이터를 압축하며, 파라미터 수가 본질적으로 압축을 방해하지 않는다.