[論文レビュー] L3C-Stereo: Lossless Compression for Stereo Images

Zihao Huang, Zhe Sun+4 more|arXiv (Cornell University)|Aug 21, 2021

Advanced Vision and Imaging参考文献 36被引用数 5

ひとこと要約

L3C-Stereo は、視差推定を用いて左視点特徴を活用するワーピングモジュールと、画素単位のロジスティック混合分布を用いた確率推定モジュールを備えた学習ベースの損失なし圧縮フレームワークを提案する。KITTI 2012/2015 および Scene Flow データセットにおいて、最先端の圧縮性能を達成しており、最大視差が大きい場合の圧縮性能が向上し、下流タスクに利用可能な品質の高い副産物としての視差マップを生成する。

ABSTRACT

A large number of autonomous driving tasks need high-definition stereo images, which requires a large amount of storage space. Efficiently executing lossless compression has become a practical problem. Commonly, it is hard to make accurate probability estimates for each pixel. To tackle this, we propose L3C-Stereo, a multi-scale lossless compression model consisting of two main modules: the warping module and the probability estimation module. The warping module takes advantage of two view feature maps from the same domain to generate a disparity map, which is used to reconstruct the right view so as to improve the confidence of the probability estimate of the right view. The probability estimation module provides pixel-wise logistic mixture distributions for adaptive arithmetic coding. In the experiments, our method outperforms the hand-crafted compression methods and the learning-based method on all three datasets used. Then, we show that a better maximum disparity can lead to a better compression effect. Furthermore, thanks to a compression property of our model, it naturally generates a disparity map of an acceptable quality for the subsequent stereo tasks.

研究の動機と目的

• 自動運転システムにおける高精細ステレオ画像の増大する保存容量要件に対処すること。
• 視差推定を用いて視間冗長性を活用することで、ステレオ画像の損失なし圧縮を向上させること。
• 圧縮効率と視差マップ品質の両方を共同最適化する深層学習ベースの圧縮モデルを開発すること。
• 最大視差と監督戦略の圧縮性能に与える影響を評価すること。
• 下流のステレオビジョンタスクに利用可能な高品質な視差マップを副産物として生成すること。

提案手法

• マルチスケールエンコーダーを用いて左視点および右視点のステレオ画像から特徴マップを抽出する。
• ワーピングモジュールは左視点特徴と予測された視差マップを用いて右視点を再構築し、予測の信頼性を向上させる。
• 視差マップは、PSMNet を模倣した階層的でマルチスケール構造を用いて推定され、画素単位の正確なアライメントを実現する。
• 確率推定モジュールは、適応的算術符号化用に画素単位のロジスティック混合分布を生成する。
• モデルは階層的エントロピー符号化方式を採用し、最小スケールから均一な事前分布を用いて低次元から高次元へ段階的に特徴および画像を再構築する。
• アーキテクチャはエンドツーエンドで学習され、ビットストリームサイズを最小化しつつ損失なし再構築を維持することを目的とする。

実験結果

リサーチクエスチョン

• RQ1 視差に配慮した特徴ワーピングは、損失なしステレオ画像圧縮における確率推定の精度を向上させることができるか？
• RQ2 最大視差ハイパーパrameterを増加させると、圧縮性能と実行時間にどのような影響を与えるか？
• RQ3 自己教師あり視差推定は、精度が低いにもかかわらず、教師あり学習よりも優れた圧縮性能をもたらすか？
• RQ4 再構築された右視点は、左視点を単独で使用する場合に比べて、どの程度圧縮効率が向上するか？
• RQ5 副産物として生成された視差マップは、下流のステレオタスクに十分な品質を達成できるか？

主な発見

• L3C-Stereo は、KITTI 2012、KITTI 2015、Scene Flow の3つのデータセットにおいて、手作業による手法（PNG、WebP、FLIF）および学習ベースのベースライン（L3C）をすべて上回る性能を発揮した。
• 最大視差を増加させることで圧縮性能が向上するが、過剰に高い値に設定すると、過学習やノイズの影響によりモデル性能が低下する。
• 自己教師あり視差推定は、教師あり学習よりも再構築された右視点の品質が優れており、特にオクルージョン領域での教師データへの過学習が抑えられているためと推察される。
• 左視点を単独で使用する場合に比べ、再構築された右視点を用いることで圧縮効率が顕著に向上し、視間再構築の価値が示された。
• モデルは、下流のステレオタスクに直接利用可能な品質の高い視差マップを副産物として生成した。
• 計算複雑度は L3C に近く、FLOPs と実行時間の増加はわずかであり、特に最大視差が大きい設定では顕著でない。