[論文レビュー] Multi-focus image fusion using VOL and EOL in DCT domain

Mostafa Amin Naji, Ali Aghagolzadeh|arXiv (Cornell University)|Oct 17, 2017

Image Processing Techniques and Applications参考文献 21被引用数 5

ひとこと要約

本稿では、DCTドメインにおける複数焦点画像統合手法を提案し、Variance of Laplacian (VOL) と Energy of Laplacian (EOL) をコントラスト指標として用いることで、ブロック選択の正確性を向上させる。VOL と EOL の直接的なDCTドメイン計算を可能とする4つの特殊行列を導出することで、焦点領域検出における誤差を低減し、従来のDCTベースの手法と比較してJPEG画像における優れた統合品質を達成する。

ABSTRACT

The purpose of multi-focus image fusion is gathering the essential information and the focused parts from the input multi-focus images into a single image. These multi-focused images are captured with different depths of focus of cameras. Multi-focus image fusion is very time-saving and appropriate in discrete cosine transform (DCT) domain, especially when JPEG images are used in visual sensor networks (VSN). The previous works in DCT domain have some errors in selection of the suitable divided blocks according to their criterion for measurement of the block contrast. In this paper, we used variance of Laplacian (VOL) and energy of Laplacian (EOL) as criterion to measure the contrast of image. Also in this paper, the EOL and VOL calculations directly in DCT domain are prepared using vector processing. We developed four matrices which calculate the Laplacian of block easily in DCT domain. Our works greatly reduce error due to unsuitable block selection. The results of the proposed algorithms are compared with the previous algorithms in order to demonstrate the superiority of the output image quality in the proposed methods. The several JPEG multi-focus images are used in experiments and their fused image by our proposed methods and the other algorithms are compared with different measurement criteria.

研究の動機と目的

• DCTドメインにおける多焦点画像統合の際のブロック選択の不正確性を解消すること。
• 従来のブロックコントラスト基準の代わりにVOLとEOLをコントラスト指標として用いることで、統合品質を向上させること。
• 再構成誤差を避けるために、VOLとEOLをDCTドメインで直接計算できるようにすること。
• 視覚センサーネットワーク（VSN）におけるリアルタイム応用に適した高速で効率的な統合手法を開発すること。
• 標準的な画像品質指標を用いて、既存のDCTベースの統合アルゴリズムを上回る性能を実証すること。

提案手法

• 本手法は、Variance of Laplacian (VOL) と Energy of Laplacian (EOL) をコントラスト指標として用い、画像ブロックの焦点品質を評価する。
• 逆DCT変換を回避するため、4つの導出された行列を用いてDCTドメインでVOLとEOLの計算を定式化する。
• DCT係数のベクトル処理に基づくDCTドメインにおけるVOLとEOLの計算により、効率的かつ正確な焦点領域検出が可能になる。
• 最大のVOLおよびEOL値に基づいてブロックを選択し、入力画像間の最も焦点が合った領域を特定する。
• 最終的な統合画像は、DCTベースの統合戦略を用いて、入力の多焦点画像から最も焦点が合ったブロックを組み合わせることで構築される。
• 本手法はJPEG圧縮画像に最適化されており、帯域制限のあるビジョングラスセンサーネットワークに適している。

実験結果

リサーチクエスチョン

• RQ1 DCTドメインで直接計算されたVOLとEOLは、多焦点画像統合におけるブロック選択の正確性を向上させることができるか？
• RQ2 従来のブロックコントラスト手法と比較して、提案手法のDCTドメインにおけるVOLとEOL計算は、統合品質においてどのように差をつけるか？
• RQ3 提案手法は、DCTベースの統合における誤ったブロック選択に起因する誤差をどの程度低減できるか？
• RQ4 VOLとEOLの直接的なDCTドメイン計算は、再構成に基づく手法と比較して、画像品質を維持または向上させることができるか？
• RQ5 標準的な統合指標を用いた場合、本手法は現実のJPEG圧縮多焦点画像において、どのように性能を発揮するか？

主な発見

• 提案手法は、DCTドメインにおけるVOLとEOLを頑健な焦点指標として用いることで、ブロック選択誤差を顕著に低減した。
• VOLとEOLの直接的なDCTドメイン計算により再構成損失が回避され、より正確な焦点領域同定が可能になった。
• 複数の画像品質指標による検証により、従来のDCTベースの手法と比較して、本手法はより高い統合品質を達成した。
• 4つの特殊行列の使用により、逆DCTを伴わずに効率的かつ正確なVOLとEOLの計算が可能となり、計算速度が向上した。
• 複数のJPEG多焦点画像セットを用いた実験結果から、本手法が焦点が合った領域を効果的に保持し、アーチファクトを低減することが確認された。
• 本手法は、JPEG圧縮との互換性と効率性のおかげで、ビジョングラスセンサーネットワークにおいて優れた性能を示した。