[논문 리뷰] An annotated instance segmentation XXL-CT data-set from a historic airplane

Roland Gruber, Nils Reims외 6명|arXiv (Cornell University)|2022. 12. 16.

3D Surveying and Cultural Heritage인용 수 5

한 줄 요약

이 논문은 역사적인 메르스히트 밀리터리 Me 163 로켓 추진 전투기의 XXL-CT 스캔에서 유래한 일곱 개의 서브볼륨에 대한 공개 가능하고 수동으로 애너테이션된 3D 인스턴스 세그멘테이션 데이터셋을 제시한다. 다수의 애너테이터가 참여한 상호작용식 레이블링 과정을 통해 생성된 이 데이터셋은 비파괴 검사 및 디지털 헤리티지 분야에서 3D 인스턴스 세그멘테이션 방법의 벤치마킹을 가능하게 하며, 복잡하고 고유한 산업 물체에 대한 대규모 고품질 기준 데이터의 부족을 해결한다.

ABSTRACT

The Me 163 was a Second World War fighter airplane and a result of the German air force secret developments. One of these airplanes is currently owned and displayed in the historic aircraft exhibition of the Deutsches Museum in Munich, Germany. To gain insights with respect to its history, design and state of preservation, a complete CT scan was obtained using an industrial XXL-computer tomography scanner. Using the CT data from the Me 163, all its details can visually be examined at various levels, ranging from the complete hull down to single sprockets and rivets. However, while a trained human observer can identify and interpret the volumetric data with all its parts and connections, a virtual dissection of the airplane and all its different parts would be quite desirable. Nevertheless, this means, that an instance segmentation of all components and objects of interest into disjoint entities from the CT data is necessary. As of currently, no adequate computer-assisted tools for automated or semi-automated segmentation of such XXL-airplane data are available, in a first step, an interactive data annotation and object labelling process has been established. So far, seven 512 x 512 x 512 voxel sub-volumes from the Me 163 airplane have been annotated and labelled, whose results can potentially be used for various new applications in the field of digital heritage, non-destructive testing, or machine-learning. This work describes the data acquisition process of the airplane using an industrial XXL-CT scanner, outlines the interactive segmentation and labelling scheme to annotate sub-volumes of the airplane's CT data, describes and discusses various challenges with respect to interpreting and handling the annotated and labelled data.

연구 동기 및 목표

• XXL-CT 데이터를 활용하여 복잡하고 고유한 산업 물체의 3D 인스턴스 세그멘테이션을 위한 고품질로 공개 가능한 기준 데이터셋을 구축하기.
• 역사적 항공기의 대규모 고해상도 CT 스캔에 대한 자동 세그멘테이션을 위한 충분한 훈련 및 평가 데이터의 부족을 해결하기.
• 비파괴 검사 및 디지털 헤리티지 응용 분야에서 딥 러닝 및 전통적인 이미지 처리 방법의 개발과 평가를 지원하기.
• 다수의 애너테이터 간 일관성 있는 수동 애너테이션을 통해 향후 세그멘테이션 알고리즘의 기준 표준을 설정하기.
• 고해상도 CT 데이터 애너테이션 과정에서 발생하는 과제, 예를 들어 모호성, 노이즈, 구조적 복잡성 등을 기록하고 분석하기.

제안 방법

• 프라우호퍼 IIS의 EZRT 센터에서 산업용 CT 스캐너를 사용하여 Me 163의 완전한 XXL-CT 스캔 확보.
• 세부 애너테이션을 위해 전체 CT 볼륨에서 7개의 512×512×512 바vox 서브볼륨 선택 및 세그멘테이션.
• 객체 식별 및 경계 정의에 대한 표준 기준을 적용한 상호작용식 다중 애너테이터 레이블링 워크플로우 구현.
• 밴드패스 필터링 및 스무딩 등의 후처리 기법 적용 후 수동 보정을 통해 세그멘테이션 품질 향상.
• 기준 세그멘테이션과 검출된 세그멘테이션 간의 오버랩, 분할, 융합을 정량화하기 위해 행렬 기반 메트릭 사용.
• 다수의 애너테이터로부터의 지상 참조 데이터 수집 및 정제를 통해 애너테이터 간 이질성 평가 및 애너테이션 신뢰도 향상.

실험 결과

연구 질문

• RQ1 유일한 역사적 항공기의 고해상도이고 복잡한 XXL-CT 데이터를 어떻게 효과적으로 인스턴스 세그멘테이션을 위해 애너테이션할 수 있는가?
• RQ2 노이즈가 많고 대trast가 낮은 CT 데이터에서 미세한 구성 요소(예: 리벳, 스프로킷)를 수동으로 세그멘테이션할 때의 주요 과제는 무엇인가?
• RQ3 복잡한 산업용 CT 데이터에서 애너테이터 간 차이가 세그멘테이션 품질과 일관성에 어느 정도 영향을 미치는가?
• RQ4 분할, 융합, 부분적 오버랩이 발생할 경우 행렬 기반 메트릭이 어떻게 효과적으로 세그멘테이션 성능을 정량화할 수 있는가?
• RQ5 이 애너테이션된 데이터셋이 비파괴 검사 및 디지털 헤리티지 분야에서 3D 인스턴스 세그멘테이션 모델의 훈련 및 평가를 위한 벤치마크로 활용될 잠재력은 무엇인가?

주요 결과

• Me 163의 XXL-CT 스캔에서 유도된 일곱 개의 고해상도 서브볼륨(512×512×512 바vox)이 수동으로 애너테이션되어 새로운 기준 데이터셋을 형성하였다.
• 더 큰 구성 요소에 대해서는 애너테이터 간 일치도가 중간에서 높았지만, 리벳과 같은 미세한 기능은 이미지 노이즈와 경계의 모호성으로 인해 뚜렷한 변동성이 있었다.
• 후처리 단계, 특히 밴드패스 필터링 및 스무딩은 표면 세부 정보에 영향을 미치는 불필요한 바vox 손실이나 융합을 유발하는 경향이 있었다.
• 행렬 기반 메트릭은 분할 및 융합과 같은 세그멘테이션 불일치를 효과적으로 포착하여 수동 및 자동 세그멘테이션 간 정량적 비교를 가능하게 하였다.
• CT 데이터 품질의 본질적 한계가 특히 작은 저대비 구성 요소의 세부 기능 탐지에 영향을 미친다는 점이 드러났다.
• 이 데이터셋은 [12]에서 공개 가능하며, 산업 및 문화 유산 응용 분야에서 3D 인스턴스 세그멘테이션 모델의 훈련 및 평가를 위한 고유한 자원을 제공한다.