[論文レビュー] Concatenated image completion via tensor augmentation and completion

Johann A. Bengua, Hoang Duong Tuan+2 more|arXiv (Cornell University)|Jul 14, 2016

Tensor decomposition and applications参考文献 24被引用数 3

ひとこと要約

本稿では、欠損領域を含む単一の画像を複数回連結して高次テンソルを構築し、テンソルトレース（TT）ランクに基づくケット拡張（KA）とTMac-TTを用いたテンソル補完を行う、高精度なカラー画像補完のための新規フレームワークICTACを提案する。本手法は、KA+TMac-TT や SPC-QV といった最先端のアルゴリズムを上回り、特に髪の毛の髪の毛の一本一本やエッジなどの微細なディテールの保持において優れた性能を示す。

ABSTRACT

This paper proposes a novel framework called concatenated image completion via tensor augmentation and completion (ICTAC), which recovers missing entries of color images with high accuracy. Typical images are second- or third-order tensors (2D/3D) depending if they are grayscale or color, hence tensor completion algorithms are ideal for their recovery. The proposed framework performs image completion by concatenating copies of a single image that has missing entries into a third-order tensor, applying a dimensionality augmentation technique to the tensor, utilizing a tensor completion algorithm for recovering its missing entries, and finally extracting the recovered image from the tensor. The solution relies on two key components that have been recently proposed to take advantage of the tensor train (TT) rank: A tensor augmentation tool called ket augmentation (KA) that represents a low-order tensor by a higher-order tensor, and the algorithm tensor completion by parallel matrix factorization via tensor train (TMac-TT), which has been demonstrated to outperform state-of-the-art tensor completion algorithms. Simulation results for color image recovery show the clear advantage of our framework against current state-of-the-art tensor completion algorithms.

研究の動機と目的

• 直接ケット拡張（KA）を適用することで生じるテンソル補完におけるブロックアーティファクト問題に対処すること。
• 単一の画像の複数回連結から得られる構造的パターンを活用し、テンソル補完の性能を向上させること。
• 画像連結、改変されたケット拡張、およびTTランクに基づくテンソル補完を統合したフレームワークを構築し、画像回復性能を向上させること。
• カラー画像回復タスクにおいて、既存の最先端のテンソル補完手法を上回る優れた性能を示すことを実証すること。
• 補完中に視覚的歪みを最小限に抑え、テクスチャーやエッジなどの微細な画像ディテールを保持すること。

提案手法

• 欠損領域を含む単一のカラー画像のC個の同一コピーを連結し、3次元テンソルを構築することで、より高次元の構造を形成する。
• 連結されたテンソルに対して、テンソルトレース（TT）ランク構造を活用できるように、改変されたケット拡張（KA）技術を適用し、高次元テンソル（最大10モード）に変換する。
• 改変されたテンソルトレースランクと並列行列分解に基づくTMac-TTアルゴリズムを用い、拡張されたテンソルの低ランクテンソル補完を実行する。
• 連結されたコピーの空間次元を元に戻すために、回復されたテンソルから平均化または再構成によって完成画像を抽出する。
• 非バランスなタッカー基盤の手法よりも精度を向上させるために、テンソルトレースランクに基づくバランスの取れたマトリシゼーションスキームを採用する。
• 仮想空間テンソル（VST）変換を用い、連結されたテンソルをKA適用とTTベース処理に適した形式に再編成する。

実験結果

リサーチクエスチョン

• RQ1 欠損領域を含む単一の画像を複数回連結することで、単一画像処理と比較してテンソル補完の性能が向上するか？
• RQ2 連結されたテンソル構造に改変されたケット拡張（KA）を適用することで、エッジやテクスチャなどの微細な画像ディテールの回復が向上するか？
• RQ3 ICTACフレームワークは、定量的指標（RSE、SSIM）および視覚的品質において、KA+TMac-TT や SPC-QV と比較してどのように差をつけるか？
• RQ4 TTランクに基づく補完手法で一般的に観察されるブロックアーティファクトは、本手法によってどの程度低減されるか？
• RQ5 完成度を最大化するための最適な画像コピー数（C）は存在するか？ その際、アーティファクトや計算負荷の増加を引き起こさないか？

主な発見

• 80%の欠損率において、Lena画像についてICTACはSSIM 0.983、RSE 0.048を達成し、KA+TMac-TTおよびSPC-QVの両方を定量的指標で上回った。
• 90%の欠損率においても、ICTACはKA+TMac-TTよりも優れたSSIMとRSEを示した。KA+TMac-TTは全手法の中で最も悪い性能を示した。
• 視覚的結果から、ICTACはSPC-QVよりも髪の毛の一本一本や顔の特徴といった微細なディテールをより良く保持していた。SPC-QVは顕著なぼやけや色あせを示していた。
• SPC-QVは滑らかなテクスチャを生成できたが、エッジや複雑なテクスチャ周辺でディテールの損失と画像のぼやけが顕著に見られた。
• ICTACでは、ブロックアーティファクトがKA+TMac-TTと比較して顕著に低減されており、低欠損率でも明確なアーティファクトが残っていなかった。
• フレームワークは補完中に歪みを効果的に緩和したが、最終的なテンソルの元の画像サイズへの再構成後にわずかなアーティファクトが観察された。