[論文レビュー] Neural Texture Block Compression

Shin Fujieda, Takahiro Harada|arXiv (Cornell University)|Jan 1, 2024

Botulinum Toxin and Related Neurological Disorders被引用数 1

ひとこと要約

本論文では、マルチレイヤーパーセプトロン（MLP）とマルチリゾリューション特徴グリッドを用いて、複数のBC1/BC4圧縮テクスチャを1つのより小さなストレージ領域に圧縮する学習ベースの手法、Neural Texture Block Compression（NTBC）を提案する。NTBCは、品質損失を最小限に抑えつつ、シェーダーの変更なしに最大70％のストレージサイズ削減を達成し、高精細グラフィックスアプリケーションにおける効率的でリアルタイム対応の可能なテクスチャ圧縮を可能にする。

ABSTRACT

Block compression is a widely used technique to compress textures in real-time graphics applications, offering a reduction in storage size. However, their storage efficiency is constrained by the fixed compression ratio, which substantially increases storage size when hundreds of high-quality textures are required. In this paper, we propose a novel block texture compression method with neural networks, Neural Texture Block Compression (NTBC). NTBC learns the mapping from uncompressed textures to block-compressed textures, which allows for significantly reduced storage costs without any change in the shaders.Our experiments show that NTBC can achieve reasonable-quality results with up to about 70% less storage footprint, preserving real-time performance with a modest computational overhead at the texture loading phase in the graphics pipeline.

研究の動機と目的

• リアルタイムグラフィックスアプリケーションにおける数百枚の高解像度テクスチャの高コストなストレージを解決すること。
• 既存のグラフィックスシェーダーを変更せずに、ブロック圧縮テクスチャ（BC1/BC4）のストレージ容量を削減すること。
• 標準的なBCフォーマットと互換性を保ちつつ、低ビットレートを実現する学習ベースの圧縮を検討すること。
• マルチリゾリューション特徴グリッドの量子化認識学習を活用してモデル効率を最適化すること。
• 単一GPU上で低推論オーバーヘッドで実用的妥当性を実証すること。

提案手法

• NTBCは、生テクスチャからブロック圧縮BC1/BC4データへのマッピングを学習するため、2つのマルチレイヤーパーセプトロン（MLP）を採用する。
• モデル最適化の向上と空間的詳細の捉え込みを図るため、入力表現としてマルチリゾリューション特徴グリッドを用いる。
• 視覚的品質、特にランク・キャラランス空間での保持を図るため、知覚的損失関数を用いて学習を行う。
• 特徴グリッドは、忠実度を維持しながらストレージコストを削減するため、量子化認識学習によって圧縮される。
• 本手法は、保守的（BC1およびBC4用に別々のモデル）と攻撃的（統合モデル）の2つの学習戦略をサポートし、圧縮率と品質のバランスを取る。
• ネットワーク重みはディスク上に保存され、実行時にロードされ、推論によりVRAM用にBC圧縮テクスチャデータが再構築される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、ストレージコストを削減しつつ、標準的なBC1/BC4ブロック圧縮フォーマットへの生テクスチャのマッピングを学習できるか？
• RQ2 マルチリゾリューション特徴グリッドと量子化認識学習の使用が、モデルの圧縮効率および視覚的品質に与える影響は何か？
• RQ3 BC1およびBC4のための統合（攻撃的）と別々（保守的）の学習戦略を用いる場合、圧縮レートと視覚的忠実度のトレードオフはどのように変化するか？
• RQ4 提案手法は、既存のグラフィックスパイプラインおよびリアルタイムレンダリング制約と互換性を保ちつつ、顕著なストレージ削減を達成できるか？
• RQ5 高周波数または勾配が豊富なコンテンツでは、どのようなテクスチャアーティファクト（例：ぼやけ、色ずれ）が生じるか、そしてそれらをどのように緩和できるか？

主な発見

• NTBCは、複数のテクスチャを含む素材に対して、標準的なBC1/BC4と比較して最大70％のストレージ容量削減を達成する。
• 保守的および攻撃的学習アプローチともに、テクスチャ数にかかわらず固定のストレージコスト（26.74 MBおよび13.37 MB）を維持する。
• 2枚以上の4Kテクスチャを含む素材では、NTBCは常に標準的なBC1/BC4のストレージ効率を上回る。
• Compressonatorによる評価では、NTBCは参照BC出力と同等の高周波数テクスチャディティールを再現し、直接重み推論による単純な手法を上回る。
• テクスチャ読み込み時の計算オーバーヘッドはわずかであり、単一GPU上でリアルタイムパフォーマンスを実現できる。
• 一般的なアーティファクトには、高周波数カラーパattersでの色ずれ、滑らかな勾配でのブロックノイズ、高周波数テクスチャでのぼやけが含まれ、これらは現在のネットワーク容量および解像度の限界を示している。