[論文レビュー] An annotated instance segmentation XXL-CT data-set from a historic airplane

Roland Gruber, Nils Reims+6 more|arXiv (Cornell University)|Dec 16, 2022

3D Surveying and Cultural Heritage被引用数 5

ひとこと要約

本論文では、歴史的ミッサーシュミット Me 163 ロケット戦闘機のXXL-CTスキャンから得た7つのサブボリュームの、公開可能で手動アノテーションが施されたインスタンスセグメンテーションデータセットを提示する。このデータセットは、複数のアノテーターによるインタラクティブなラベリングプロセスを通じて作成され、非破壊検査およびデジタルヒューマニティ分野における3次元インスタンスセグメンテーション手法のベンチマーク化を可能にし、複雑でユニークな産業用オブジェクトのためのスケールが大きく、高品質な基準データの不足に応える。

ABSTRACT

The Me 163 was a Second World War fighter airplane and a result of the German air force secret developments. One of these airplanes is currently owned and displayed in the historic aircraft exhibition of the Deutsches Museum in Munich, Germany. To gain insights with respect to its history, design and state of preservation, a complete CT scan was obtained using an industrial XXL-computer tomography scanner. Using the CT data from the Me 163, all its details can visually be examined at various levels, ranging from the complete hull down to single sprockets and rivets. However, while a trained human observer can identify and interpret the volumetric data with all its parts and connections, a virtual dissection of the airplane and all its different parts would be quite desirable. Nevertheless, this means, that an instance segmentation of all components and objects of interest into disjoint entities from the CT data is necessary. As of currently, no adequate computer-assisted tools for automated or semi-automated segmentation of such XXL-airplane data are available, in a first step, an interactive data annotation and object labelling process has been established. So far, seven 512 x 512 x 512 voxel sub-volumes from the Me 163 airplane have been annotated and labelled, whose results can potentially be used for various new applications in the field of digital heritage, non-destructive testing, or machine-learning. This work describes the data acquisition process of the airplane using an industrial XXL-CT scanner, outlines the interactive segmentation and labelling scheme to annotate sub-volumes of the airplane's CT data, describes and discusses various challenges with respect to interpreting and handling the annotated and labelled data.

研究の動機と目的

• XXL-CTデータを用いた複雑でユニークな産業用オブジェクトの3次元インスタンスセグメンテーションのための高品質で公開可能なベンチマークデータセットの作成。
• 歴史的機体の大型・高解像度CTスキャンの自動セグメンテーションのための十分なトレーニングおよび評価データの不足に対処する。
• 非破壊検査およびデジタルヒューマニティアプリケーションにおけるディープラーニングおよび従来の画像処理手法の開発と評価を支援する。
• 複数のアノテーターにわたる一貫した手動アノテーションを確立することで、将来のセグメンテーションアルゴリズムの基準基準を提供する。
• 高解像度CTデータのラベリングにおける課題、特に曖昧さ、ノイズ、構造的複雑性の記録と分析。

提案手法

• フランコフォリアIISのEZRTセンターで産業用CTスキャナを用いてMe 163の完全なXXL-CTスキャンを取得。
• 詳細なアノテーションのため、全CTボリュームから7つの512×512×512ボクセルのサブボリュームを選択およびセグメンテーション。
• オブジェクト同定および境界定義のための標準化基準を適用したインタラクティブで複数アノテーター参加のラベリングワークフローの実装。
• セグメンテーション品質の向上のため、バンドパスフィルタリングおよびスムージングを含む後処理技術を適用し、その後手動での微調整を実施。
• マトリクスベースの指標を用いてセグメンテーションを比較し、基準と検出されたセグメント間の重複、分割、統合を定量化。
• 複数アノテーターからのグランドトゥースデータを収集・キュレーションし、アノテーター間のばらつきを評価し、アノテーションの信頼性を向上。

実験結果

リサーチクエスチョン

• RQ1 ユニークな歴史的機体の高解像度で複雑なXXL-CTデータを、インスタンスセグメンテーションのための効果的にアノテーションする方法は何か？
• RQ2 ノイズが多くコントラストが低いCTデータにおいて、細かい部品（例：リベット、スプロケット）を手動でセグメンテーションする際の主な課題は何か？
• RQ3 複雑な産業用CTデータにおいて、アノテーター間の差がセグメンテーションの品質および一貫性に及ぼす影響はどの程度か？
• RQ4 分割、統合、部分的重複が生じる状況において、マトリクスベースの指標がセグメンテーションパフォーマンスを効果的に定量化できるか？
• RQ5 このアノテーション済みデータセットは、非破壊検査およびデジタルヒューマニティ分野における3次元インスタンスセグメンテーションモデルのトレーニングおよび評価のベンチマークとして、どの程度の可能性を秘めているか？

主な発見

• Me 163のXXL-CTスキャンから得た7つの高解像度サブボリューム（512×512×512ボクセル）が手動でアノテーションされ、新規のベンチマークデータセットを形成した。
• 大きな部品についてはアノテーター間で中程度から高い一貫性を示したが、リベットのような小さな特徴は画像のノイズや境界の曖昧さのため顕著なばらつきを示した。
• バンドパスフィルタリングやスムージングなどの後処理ステップは、特に表面の細部に影響を及ぼす不測のボクセル損失や統合を引き起こした。
• マトリクスベースの指標は、分割や統合を含むセグメンテーションの不一致を効果的に捉え、手動と自動セグメンテーションの定量的比較を可能にした。
• CTデータの品質に内在する限界が、特に小さなコントラストの低い部品の検出に影響を及けることが、このデータセットから明らかになった。
• このデータセットは[12]で公開されており、産業および文化的遺産分野における3次元インスタンスセグメンテーションモデルのトレーニングおよび評価のための貴重なリソースを提供する。