[論文レビュー] Gloss, Color and Topography Scanning for Reproducing a Painting's Appearance using 3D printing

Willemijn S. Elkhuizen, Tessa T. W. Essers+5 more|arXiv (Cornell University)|Oct 23, 2019

Advanced Vision and Imaging被引用数 5

ひとこと要約

本論文では、絵画の空間的に変化する光沢、色および三次元形状を高精細な物理的再現物として捉え、再現するための新規な3Dスキャンおよび3Dプリンティングシステムを提示する。偏光に基づく鏡面反射のサンプリングをブリュースター角付近で実施し、高さマップを用いてオフセンターの測定値および表面の影を補正することで、1枚の絵画あたり8時間以内に知覚的に正確な再現物を実現する。

ABSTRACT

High fidelity reproductions of paintings provide new opportunities to museums in preserving and providing access to cultural heritage. This paper presents an integrated system which is able to capture and fabricate color, topography and gloss of a painting, of which gloss capturing forms the most important contribution. A 3D imaging system, using fringe-encoded stereo imaging, is extended to capture spatially-varying gloss, utilizing specular reflectance polarization. The gloss is measured by sampling the specular reflection around Brewster's angle, where these reflections are effectively polarized, and can be separated from the unpolarized, diffuse reflectance. Off-center gloss measurements are calibrated relative to the center measurement. Off-specular gloss measurements, following from local variation of the surface normal, are masked based on the height map and corrected. Shadowed regions, caused by the 3D relief, are treated similarly. The area of a single capture is approximately 180x90mm at a resolution of 25x25micron. Aligned color, height, and gloss tiles are stitched together, registering overlapping color areas. These maps are inputs for a 3D printer. Two paintings were reproduced to verify the effectiveness and efficiency of the proposed system. One painting was scanned four times, consecutively rotated by 90 degrees, to evaluate the influence of the scanning system geometric configuration on the gloss measurement. Experimental results show that the method is sufficiently fast for practical application. The results can well be used for the purpose of physical reproduction and other applications needing first-order estimates of the appearance. Our method to extend appearance scanning with gloss measurements is a valuable addition in the quest for realistic reproductions, in terms of its practical applicability and its perceptual added value, when added to color and topography.

研究の動機と目的

• 絵画の視覚的外観、特に光沢、色および三次元表面形状を正確に反映する高精細な物理的再現物を可能にすること。
• 従来の3Dプリンティングシステムが一様な光沢表面を出力するという限界を是正し、オリジナルの絵画に見られる自然な空間的光沢変化を再現できないという問題を解決すること。
• 文化財機関、特に美術館での使用を想定し、最大1.25×2.5 mの広範囲を25 µm未満の分解能で、短時間かつ統合的かつ実用的なスキャンパイプラインを開発すること。
• 色および三次元形状のスキャンを超えて、偏光原理を用いた空間的に変化する光沢の測定と再現を可能にする、堅牢な手法を導入すること。
• 2枚のヴァン・ゴッホ風の絵画を用いた事例研究を通じて、知覚的リアリズムを検証し、色および三次元形状と併せた光沢再現の追加的価値を示すこと。

提案手法

• ステレオイメージングシステムに縞模様投影を組み合わせ、三次元形状および色を捉えるとともに、鏡面反射の偏光を用いて空間的に変化する光沢を測定するように拡張する。
• 鏡面反射がブリュースター角付近で線形偏光化することを利用し、偏光フィルターを用いて非偏光の拡散反射成分と分離可能である。
• 中心キャリブレーション点を基準として、オフセンターの光沢測定値を補正するための数学的正規化モデルを適用する。
• 捕らえた高さマップを用いて、局所的な表面法線の変化や影の影響を受ける領域をマスクし、周辺領域からの補間値で埋めることで、空間的正確性を保持する。
• 重複する色領域を登録マーカーとして用い、オフラインで色、高さ、光沢タイルをアライメントおよびスターチングする。
• 統合されたマップ（色、高さ、光沢）をポリジェット3Dプリンタに転送し、物理的に正確な再現物を製造する。

実験結果

リサーチクエスチョン

• RQ1 ブリュースター角付近での偏光に基づく鏡面反射サンプリングを用いて、絵画の空間的に変化する光沢を正確に捉えることができるか？
• RQ2 オフセンターの光沢測定値および局所的な表面法線の変化は、光沢測定の正確性にどのような影響を及ぼすか？ また、高さマップデータを用いてこれらを補正できるか？
• RQ3 色および三次元形状と併せた空間的に変化する光沢の組み込みが、3Dプリントされた絵画再現物の知覚的リアリズムにどの程度向上効果をもたらすか？
• RQ4 本スキャンシステムは、美術館などの文化的財産機関が閉館時間中に実用的かつ耐障害的に使用できるほど速く、信頼性があるか？
• RQ5 ポリジェット3Dプリンティングにおける光沢測定値とプリント可能な光沢レベルの相関関係は何か？ また、最適な知覚的忠実度を実現するためのマッピング戦略は何か？

主な発見

• 本システムは、1枚の絵画あたり8時間以内に、空間的に変化する光沢、色および三次元形状を統合的なパイプラインで正確に捉え、再現することに成功した。
• オフセンターのずれを低減するための数学的正規化モデルを用いることで、スキャン領域全体にわたる一貫性が向上した。
• 影の影響を受ける領域および局所的な表面法線の変化が著しい領域は、高さマップを用いてマスクされ、周辺領域からの補間値で埋められ、空間的正確性が保持された。
• 『2人のレスラー』および『ひまわり』の再現物は、光沢を色および三次元形状と併せて再現することで、一様な光沢のプリントと比較して、はるかに視覚的に説得力のある結果を示した。
• スキャンの向き（90°回転）が最終プリント品質にほとんど影響しないことから、本システムは幾何的構成の変更に対しても耐障害性を示していることがわかった。
• 光沢を色および三次元形状と併せて再現することで知覚的追加価値が得られるが、光沢単体ではその価値は認められないことから、複数属性の外観捉えの重要性が確認された。