[논문 리뷰] Integer Discrete Flows and Lossless Compression

Emiel Hoogeboom, Jorn W. T. Peters외 2명|arXiv (Cornell University)|2019. 05. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 10

한 줄 요약

이 논문은 정수 이산 플로우(Ordinal Discrete Flows, IDF)를 소개한다. 이는 이산 데이터에 대해 정확한 우도 최적화와 최신 기술 수준의 손실 없는 압축을 가능하게 하되, dequantization 오차 없이 구현되는 정규화 플로우 모델이다. 정수 이산 커파링이라 불리는 학습 가능한 이중사상 정수 변환 레이어를 설계함으로써, CIFAR10, ImageNet32, ImageNet64에서 경쟁적인 생성 모델링 성능과 뛰어난 압축 비율을 달성하였다. 이는 손실 없는 압축 분야에서 역행성 신경망을 처음으로 적용한 사례이다.

ABSTRACT

Lossless compression methods shorten the expected representation size of data without loss of information, using a statistical model. Flow-based models are attractive in this setting because they admit exact likelihood optimization, which is equivalent to minimizing the expected number of bits per message. However, conventional flows assume continuous data, which may lead to reconstruction errors when quantized for compression. For that reason, we introduce a flow-based generative model for ordinal discrete data called Integer Discrete Flow (IDF): a bijective integer map that can learn rich transformations on high-dimensional data. As building blocks for IDFs, we introduce a flexible transformation layer called integer discrete coupling. Our experiments show that IDFs are competitive with other flow-based generative models. Furthermore, we demonstrate that IDF based compression achieves state-of-the-art lossless compression rates on CIFAR10, ImageNet32, and ImageNet64. To the best of our knowledge, this is the first lossless compression method that uses invertible neural networks.

연구 동기 및 목표

• 이미지와 같은 이산 데이터에 적용할 때 dequantization 오차로 인해 연속 플로우 모델이 손실 없는 압축에 한계를 가짐을 해결한다.
• 정확한 역행성과 정확한 우도 계산을 보존하는 이산 데이터를 위한 이중사상이고 학습 가능한 변환을 개발한다.
• 양자화로 인한 복원 오류 없이 고차원의 구조적 데이터를 정규화 플로우를 사용해 압축한다.
• IDF 기반 압축이 표준 이미지 벤치마크에서 기존 방법을 초월하고 점진적 복원 기능을 지원함을 입증한다.
• 이전에 탐색되지 않은 맥락에서 역행성 신경망을 사용한 손실 없는 압축의 새로운 패러다임을 수립한다.

제안 방법

• 이산 데이터를 정확한 사전 분포를 가진 잠재 공간으로 변환하는 이중사상 정수 매핑인 정수 이산 플로우(IDF)를 제안한다.
• 이산 데이터에서 효율적인 역행성 매핑을 가능하게 하는 유연하고 학습 가능한 변환 블록으로 정수 이산 커파링 레이어를 도입한다.
• 입력의 일부를 조건으로 삼는 학습 가능한 스케일 및 시프트 네트워크를 사용해 나머지 차원을 변환함으로써, 이중성과 계산 가능한 야코비안 행렬식을 보장한다.
• 변수 변경 공식을 적용해 정확한 로그 우도를 계산함으로써, 압축을 위한 최대 우도 학습이 가능해진다.
• 잠재 표현에 대해 엔트로피 코딩을 적용하고 계층적 사전 구조를 통해 점진적 복원이 가능한 압축 파이프라인에 IDF를 통합한다.
• 이산 출력을 위한 라운딩을 추론 단계에서만 적용함으로써, 전체적으로 끝에서 끝까지 학습을 수행한다.

실험 결과

연구 질문

• RQ1 역행성 신경망은 이미지와 같은 이산적이고 순서가 있는 데이터에 대해 손실 없는 압축에 효과적으로 적용될 수 있는가?
• RQ2 제안된 정수 이산 커파링 레이어는 이산 데이터에서 효율적이고 이중사상인 변환을 가능하게 하며, 계산 가능한 우도를 유지하는가?
• RQ3 IDF 기반 압축은 CIFAR10, ImageNet32, ImageNet64와 같은 표준 이미지 압축 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 IDF 프레임워크는 점진적 복원을 지원하며, 낮은 비트스트림 비율에서도 전체 이미지의 구조를 유지하는가?
• RQ5 기존의 연속 플로우 기반 모델에 비해, 이산 데이터에 적응시킨 경우 IDF는 생성 모델링 성능에서 경쟁력을 보이는가?

주요 결과

• IDF는 CIFAR10에서 최신 기술 수준의 손실 없는 압축 성능을 달성하여, 1차원당 3.32비트의 비율을 기록했으며, Flow++ 및 Glow와 같은 기존 방법을 모두 능가했다.
• ImageNet32에서는 1차원당 4.15비트를 기록하여, 더 큰 데이터셋에 대한 강력한 확장성과 일반화 능력을 입증했다.
• ImageNet64에서는 1차원당 3.90비트를 기록하여, 데이터의 복잡도가 증가했음에도 불구하고 경쟁 가능한 성능을 보였다.
• ER+BCa 조직학적 데이터셋에서의 IDF 기반 압축은 1차원당 2.42비트를 기록했으며, 패치 기반 설정에서 JPEG2000(4.26 bpd)과 JP2-WSI(3.04 bpd)를 모두 능가했다.
• IDF를 사용한 점진적 복원은 비트스트림의 15%만으로도 전체 이미지의 구조를 유지하며, 높은 정밀도로 조기에 시각화가 가능했다.
• IDF는 간단한 아키텍처에도 불구하고 생성 모델링 성능에서 경쟁력을 보였으며, CIFAR10에서는 3.32 bpd, ImageNet32에서는 4.15 bpd를 기록하여 연속 플로우 기반 기준선과 거의 동일하거나 이를 충족했다.