[논문 리뷰] Finding Mirror Symmetry via Registration

Marcelo Cicconet, David G. C. Hildebrand외 1명|arXiv (Cornell University)|2016. 11. 18.

Medical Image Segmentation Techniques참고 문헌 21인용 수 3

한 줄 요약

이 논문은 거리 공간에서의 거울 대칭 검출을 레지지스트레이션 문제로 포지셔닝하는 새로운 프레임워크인 반사 대칭 레지지스트레이션(Mirror Symmetry via Registration, MSR)을 소개한다. 임의의 평면을 기준으로 데이터를 반사하고 원본 데이터와 레지지스트레이션함으로써 MSR는 변환 행렬의 고유값 -1에 해당하는 고유벡터로 대칭 평면을 계산하며, 2차원 대칭 검출에서 최신 기술 수준의 성능을 달성하고, ICP 레지지스트레이션을 사용하여 3차원 형상 대칭 검출에서 86%의 정확도를 기록한다.

ABSTRACT

Symmetry is prevalent in nature and a common theme in man-made designs. Both the human visual system and computer vision algorithms can use symmetry to facilitate object recognition and other tasks. Detecting mirror symmetry in images and data is, therefore, useful for a number of applications. Here, we demonstrate that the problem of fitting a plane of mirror symmetry to data in any Euclidian space can be reduced to the problem of registering two datasets. The exactness of the resulting solution depends entirely on the registration accuracy. This new Mirror Symmetry via Registration (MSR) framework involves (1) data reflection with respect to an arbitrary plane, (2) registration of original and reflected datasets, and (3) calculation of the eigenvector of eigenvalue -1 for the transformation matrix representing the reflection and registration mappings. To support MSR, we also introduce a novel 2D registration method based on random sample consensus of an ensemble of normalized cross-correlation matches. With this as its registration back-end, MSR achieves state-of-the-art performance for symmetry line detection in two independent 2D testing databases. We further demonstrate the generality of MSR by testing it on a database of 3D shapes with an iterative closest point registration back-end. Finally, we explore its applicability to examining symmetry in natural systems by assessing the degree of symmetry present in myelinated axon reconstructions from a larval zebrafish.

연구 동기 및 목표

• 레지지스트레이션을 이용하여 유클리드 공간에서의 거울 대칭 검출을 위한 일반적이고 차원에 관계없는 방법을 개발한다.
• 실세계 이미지에서 흔히 볼 수 있는 잡음과 가림 현상이 존재하는 상황에서도 대칭 검출의 강건성과 정확도를 향상시킨다.
• 대칭이 기능적 또는 발달 원리와 관련이 있을 수 있는 복잡한 천연 시스템, 예를 들어 신경세포 형태학에서의 대칭 검출을 가능하게 한다.
• 대칭 검출을 후행 작업으로 삼아 레지지스트레이션 알고리즘을 테스트할 수 있는 새로운 기준을 제공한다.
• 단일 대칭선을 넘어서 전체 3차원 형상 및 생물학적 구조 분석을 포함한 대칭 검출로의 확장을 가능하게 한다.

제안 방법

• 입력 데이터를 임의의 평면에 대해 반사하여 반사된 데이터셋을 생성한다.
• 원본 데이터셋과 반사된 데이터셋 간의 레지지스트레이션을 수행하기 위해 레지지스트레이션 알고리즘(예: ICP 또는 RANSAC 기반 NCC 레지지스트레이션)을 사용한다.
• 레지지스트레이션과 반사 매핑으로부터 변환 행렬을 계산한다.
• 복합 변환 행렬의 고유값 -1에 해당하는 고유벡터를 추출하여 대칭 평면을 결정한다.
• 2차원의 경우, 영상 패치와 전체 영상 간의 정규화 상관관계(NXC) 매칭을 기반으로 RANSAC 기반의 레지지스트레이션 방법을 사용한다.
• 3차원의 경우, 점군 간 정렬을 위해 반복 최소 제곱점(Iterative Closest Point, ICP) 알고리즘을 레지지스트레이션 백엔드로 활용한다.

실험 결과

연구 질문

• RQ1 R^n에서의 거울 대칭 검출 문제를 정확한 수학적 해를 가진 레지지스트레이션 문제로 환원할 수 있는가?
• RQ2 MSR 프레임워크는 2차원 대칭 검출 벤치마크에서 최신 기술 수준의 방법들과 비교해 어떤 성능을 보이는가?
• RQ3 MSR는 3차원 대칭 형상으로 일반화될 수 있으며, 표준화된 3차원 대칭 데이터베이스가 없는 상황에서도 높은 정확도를 달성할 수 있는가?
• RQ4 MSR은 망막 신경축삭이 있는 제브라피시의 복잡한 생물학적 구조에서 대칭을 어느 정도 정확하게 검출할 수 있는가?
• RQ5 MSR을 사용하여 신경세포 뼈대의 대칭 쌍을 식별하고 신경 회로의 형태학적 대칭성을 정량화할 수 있는가?

주요 결과

• MSR는 CVPR 2013 실세계 영상 경연 대회 및 뉴욕대학교 대칭 데이터베이스라는 두 개의 독립적인 2차원 대칭 검출 데이터베이스에서 최신 기술 수준의 성능을 달성했다.
• McGill 3D Shape Benchmark에서 유의미하게 선별된 203개의 대칭 형상을 포함한 정제된 3차원 데이터셋에서, MSR는 ICP를 레지지스트레이션 백엔드로 사용하여 86%의 정확도를 기록했다.
• 유생 제브라피시의 망막 신경축삭 재구성에서 MSR는 빌드된 평면에 수직인 투영이 강한 대칭성을 보여주는, 시각적으로 타당한 대칭 평면을 성공적으로 계산했다.
• 쌍별 대칭 비용에 Munkres 할당 알고리즘을 적용함으로써 제브라피시 축삭 데이터에서 전역적으로 최적의 왼쪽-오른쪽 뼈대 매칭을 달성했다.
• 초기 평면 선택에 대해 강건하며, 세 번의 초기 반사에 대한 레지지스트레이션 신뢰도 기반으로 최고의 결과를 선택함으로써 프레임워크의 안정성이 확보되었다.
• 레지지스트레이션 단계를 제외한 나머지 과정은 수학적으로 정확하므로, 정확도는 오직 기반 레지지스트레이션 알고리즘의 성능에 의해만 제한된다.