[논문 리뷰] Part2Word: Learning Joint Embedding of Point Clouds and Text by Matching Parts to Words.

Chuan Yi Tang, Xi Yang외 3명|arXiv (Cornell University)|2021. 07. 05.

Human Pose and Action Recognition참고 문헌 41인용 수 6

한 줄 요약

이 논문은 공유된 임베딩 공간 내에서 점군의 분할된 부분을 문장의 단어와 매칭시켜 공동의 3D 형상-텍스트 임베딩을 학습하는 Part2Word라는 방법을 제안한다. 부분 수준의 특징과 교차 모달 주의 메커니즘, 삼중체 순위 손실를 활용함으로써, 표준 벤치마크에서 다중 모달 검색 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

It is important to learn joint embedding for 3D shapes and text in different shape understanding tasks, such as shape-text matching, retrieval, and shape captioning. Current multi-view based methods learn a mapping from multiple rendered views to text. However, these methods can not analyze 3D shapes well due to the self-occlusion and limitation of learning manifolds. To resolve this issue, we propose a method to learn joint embedding of point clouds and text by matching parts from shapes to words from sentences in a common space. Specifically, we first learn segmentation prior to segment point clouds into parts. Then, we map parts and words into an optimized space, where the parts and words can be matched with each other. In the optimized space, we represent a part by aggregating features of all points within the part, while representing each word with its context information, where we train our network to minimize the triplet ranking loss. Moreover, we also introduce cross-modal attention to capture the relationship of part-word in this matching procedure, which enhances joint embedding learning. Our experimental results outperform the state-of-the-art in multi-modal retrieval under the widely used benchmark.

연구 동기 및 목표

• 자기 음영과 다양체 학습 제약 조건으로 인해 다중 시점 방법이 3D 형상-텍스트 임베딩을 학습하는 데 한계를 가진다는 문제를 해결하기 위해.
• 전체 시점이 아닌 형상의 부분 수준 의미를 중시함으로써 더 정확한 공동 표현 학습을 가능하게 하기 위해.
• 점군의 부분과 문장 내 개별 단어를 정렬함으로써 다중 모달 검색 및 형상-텍스트 매칭을 향상시키기 위해.
• 공유된 임베딩 공간에서 부분-단어 관계를 동적으로 모델링하는 교차 모달 주의를 통해 특징 학습을 향상시키기 위해.
• 새로운 부분-단어 매칭 파라다임을 사용하여 기존 방법들을 능가하는 성능을 달성하기 위해.

제안 방법

• 먼저, 학습된 분할 사전 지식을 활용해 점군을 부분으로 분할하여 부분 수준의 특징을 추출한다.
• 각 부분은 그 안에 포함된 모든 점의 특징을 집계하여 국소 기하학적 구조를 캡처한다.
• 문장 내 단어들은 맥락 정보를 반영한 임베딩을 통해 의미를 유지한다.
• 삼중체 순위 손실를 사용하여 공유된 임베딩 공간을 최적화함으로써 매칭되는 부분-단어 쌍 간의 거리를 최소화한다.
• 임베딩 학습 과정에서 부분과 단어 간의 관계를 동적으로 모델링하기 위해 교차 모달 주의를 도입한다.
• 부분과 단어 표현을 정렬하면서도 그 의미적·기하학적 일관성을 유지하기 위해 엔드 투 엔드로 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 시점 기반 방법과 비교해 부분 수준의 3D 형상 표현이 공동 임베딩 학습에 얼마나 기여하는가?
• RQ2 3D 형상의 개별 부분을 문장 내 단어와 매칭함으로써 다중 모달 검색 성능이 얼마나 향상되는가?
• RQ3 교차 모달 주의가 3D 부분과 텍스트 단어 간의 정렬에 얼마나 기여하는가?
• RQ4 제안된 부분-단어 매칭 전략이 기존의 시점 기반 또는 전반적 형상-텍스트 매칭 방법보다 우월한가?
• RQ5 부분 및 단어 특징을 활용한 삼중체 순위 손실는 다중 모달 검색 작업에서 더 나은 일반화 성능을 이끌어내는가?

주요 결과

• 제안된 Part2Word 방법은 다중 모달 검색 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 방법들을 능가한다.
• 부분 수준 분할을 사용함으로써 다중 시점 렌더링 방법 대비 더 강력한 3D 형상 표현이 가능하다.
• 교차 모달 주의는 부분과 단어 간의 정렬을 크게 향상시켜 공동 임베딩 품질을 향상시킨다.
• 삼중체 순위 손실는 임베딩 공간을 효과적으로 최적화하여 매칭되는 부분-단어 쌍이 비매칭 쌍보다 더 가까워지도록 보장한다.
• 세분화된 부분-단어 정렬 덕분에 형상-텍스트 매칭 및 검색 작업에서 뛰어난 일반화 성능을 보여준다.
• 결과는 부분 수준 분석이 자기 음영 문제와 시점 의존적 제약 조건으로 인한 3D 형상 이해 문제를 완화시킨다는 것을 확인한다.