[논문 리뷰] Neural Texture Block Compression

Shin Fujieda, Takahiro Harada|arXiv (Cornell University)|2024. 01. 01.

Botulinum Toxin and Related Neurological Disorders인용 수 1

한 줄 요약

이 논문은 신경망 기반의 방법인 신경 질감 블록 압축(NTBC)을 제안한다. NTBC는 다층 퍼셉트론(MLPs)과 다중 해상도 특징 격자를 사용하여 BC1/BC4로 압축된 여러 텍스처를 하나의 더 작은 저장 공간으로 압축한다. NTBC는 품질 손실을 최소화하고 셰이더 변경 없이도 저장 크기를 최대 70% 감소시켜 고해상도 그래픽 응용 프로그램에 대해 효율적이고 실시간 호환 가능한 텍스처 압축을 가능하게 한다.

ABSTRACT

Block compression is a widely used technique to compress textures in real-time graphics applications, offering a reduction in storage size. However, their storage efficiency is constrained by the fixed compression ratio, which substantially increases storage size when hundreds of high-quality textures are required. In this paper, we propose a novel block texture compression method with neural networks, Neural Texture Block Compression (NTBC). NTBC learns the mapping from uncompressed textures to block-compressed textures, which allows for significantly reduced storage costs without any change in the shaders.Our experiments show that NTBC can achieve reasonable-quality results with up to about 70% less storage footprint, preserving real-time performance with a modest computational overhead at the texture loading phase in the graphics pipeline.

연구 동기 및 목표

• 실시간 그래픽 응용 프로그램에서 수백 개의 고해상도 텍스처로 인한 높은 저장 비용을 해결하기 위해.
• 기존 그래픽 셰이더를 수정하지 않고도 블록 압축 텍스처(BC1/BC4)의 저장 공간을 줄이기 위해.
• 표준 BC 형식과의 호환성을 유지하면서도 더 낮은 비트레이트를 가능하게 하는 학습 기반 압축을 탐색하기 위해.
• 다중 해상도 특징 격자의 정량화 인식 훈련을 통해 모델 효율성을 최적화하기 위해.
• 단일 GPU에서 낮은 추론 오버헤드로 실현 가능성을 입증하기 위해.

제안 방법

• NTBC는 원본 텍스처에서 블록 압축된 BC1/BC4 데이터로의 매핑을 학습하기 위해 두 개의 다층 퍼셉트론(MLPs)을 사용한다.
• 모델 최적화를 향상시키고 공간적 세부 정보를 포착하기 위해 다중 해상도 특징 격자를 입력 표현으로 사용한다.
• 특성 격자는 정량화 인식 훈련을 통해 저장 비용을 줄이면서도 정밀도를 유지한다.
• 모델은 시각적 품질을 유지하기 위해 인지적 손실 함수로 훈련되며, 특히 밝기-색상 공간에서 중요하게 유지된다.
• 모델은 보수적(BC1 및 BC4 전용 별도 모델)과 공격적(통합 모델) 훈련 전략을 지원하며, 압축률과 품질 간의 균형을 이룬다.
• 네트워크 가중치는 디스크에 저장되어 런타임에 로드되며, 추론을 통해 VRAM용 BC 압축 텍스처 데이터를 재구성한다.

실험 결과

연구 질문

• RQ1 신경망이 저장 비용을 줄이면서도 표준 BC1/BC4 블록 압축 형식으로 원본 텍스처를 매핑할 수 있는가?
• RQ2 다중 해상도 특징 격자와 정량화 인식 훈련의 사용이 모델 압축 효율성과 시각적 품질에 어떤 영향을 미치는가?
• RQ3 BC1과 BC4에 대해 통합(공격적) 훈련과 별도(보수적) 훈련을 사용할 경우 압축 비율과 시각적 정밀도 간의 상충 관계는 어떻게 되는가?
• RQ4 제안된 방법이 기존 그래픽 파이프라인과 실시간 렲링 제약 조건을 유지하면서도 상당한 저장 공간 절감을 달성할 수 있는가?
• RQ5 고주파 또는 기울기가 높은 콘텐츠에서 어떤 종류의 텍스처 아티팩트(예: 흐릿함, 색조 변화)가 발생하며, 이를 어떻게 완화할 수 있는가?

주요 결과

• NTBC는 여러 텍스처를 포함한 자료에 대해 표준 BC1/BC4 대비 최대 70%의 저장 공간 절감을 달성한다.
• 보수적 및 공격적 훈련 전략은 각각 고정된 저장 비용 26.74 MB와 13.37 MB를 유지하며, 텍스처 수에 관계없이 일정하다.
• 두 개 이상의 4K 텍스처를 포함한 자료에서는 NTBC가 항상 표준 BC1/BC4보다 저장 효율성이 뛰어나다.
• Compressonator로 평가했을 때 NTBC는 참조 BC 출력과 유사한 고주파 텍스처 세부 정보를 생성하며, 직접 가중치 추론보다 우수한 성능을 보인다.
• 텍스처 로딩 시에만 약간의 계산 오버헤드가 발생하여 단일 GPU에서 실시간 성능을 확보할 수 있다.
• 일반적인 아티팩트로는 고주파 색상 패턴에서의 색조 변화, 부드러운 기울기에서의 블록성, 고주파 텍스처에서의 흐릿함이 나타나며, 이는 현재 네트워크 용량과 해상도의 한계를 시사한다.