[논문 리뷰] 3D Steerable CNNs: Learning Rotationally Equivariant Features in Volumetric Data

Maurice Weiler, Mario Geiger외 3명|arXiv (Cornell University)|2018. 07. 06.

Image Processing and 3D Reconstruction참고 문헌 32인용 수 79

한 줄 요약

SE(3)-등가성 3D 회전 가능 CNN이 스칼라, 벡터, 텐서 필드에서 작동하며, 회전 및 평행이동 등가성을 보장하기 위해 해석적으로 Steering 커널 기저를 도출하고, 아미노산 환경 예측 및 단백질 구조 분류에서 성능 향상을 보여주는 3D 회전 가능 CNN을 소개한다.

ABSTRACT

We present a convolutional network that is equivariant to rigid body motions. The model uses scalar-, vector-, and tensor fields over 3D Euclidean space to represent data, and equivariant convolutions to map between such representations. These SE(3)-equivariant convolutions utilize kernels which are parameterized as a linear combination of a complete steerable kernel basis, which is derived analytically in this paper. We prove that equivariant convolutions are the most general equivariant linear maps between fields over R^3. Our experimental results confirm the effectiveness of 3D Steerable CNNs for the problem of amino acid propensity prediction and protein structure classification, both of which have inherent SE(3) symmetry.

연구 동기 및 목표

• 부피 데이터에서 SE(3) 대칭성을 존중하는 모델의 필요성을 동기화하고 형식화한다.
• Steerable kernel 기저를 사용한 SE(3)-등가 컨볼루션의 이론과 실용 구현을 개발한다.
• 분자 및 단백질 구조 작업에서 데이터 효율적인 개선을 보여준다.
• 등가성을 보존하는 이산화 전략과 비선형성을 제공한다.
• 표준 3D CNN에서 소수의 코드 변경으로 구현 가능하다는 것을 입증한다.

제안 방법

• 데이터를 R^3 위의 스칼라, 벡터, 텐서로 구성된 필드로 표현한다.
• 컨볼루션 커널을 SE(3) 제약에서 도출된 Steering 기저 커널의 선형 조합으로 매개변수화한다.
• 관계된 SO(3) 표현과 구의 조화함수(radial basis functions)에서 파생된 기저 커널을 도출한다.
• 피처 공간 간 등가 선형 맵을 얻기 위해 회전-스티어럴 커널과의 상호상관을 사용한다.
• 비스칼라 피처의 등가성을 보존하기 위해 게이트드 비선형성을 도입한다.
• 알리아싱을 완화하기 위해 각도 주파수 컷오프와 방사형 가우시안으로 이산화하고, 다운샘플링 전에 저통과 필터링을 적용해 성능을 개선한다.

실험 결과

연구 질문

• RQ1 Steerable 커널 기저를 사용한 SE(3)-등가 컨볼루션이 R^3 필드 간의 가장 일반적인 등가 선형 맵을 제공하는가?
• RQ2 회전 대칭성이 내재된 작업에서 SE(3)-등가 네트워크가 성능과 데이터 효율성을 개선하는가(예: 아미노산 환경 예측 및 단백질 구조 분류)?
• RQ3 실용적인 3D CNN에서 SE(3) 스티어럴 커널을 불연속화하고 구현하는 방법은 어떤가(알리아싱 제어 포함)?

주요 결과

• 3D Steerable CNN은 회전 가능 커널을 이용한 상호상관으로 컨볼루션을 구현하여 SE(3) 등가성을 달성한다.
• 아미노산 환경 예측에서 스티어링 모델은 동일한 설정에서 기존 CNN보다 더 높은 정확도(검정 정확도 0.58)와 일부 구성에서 더 적은 매개변수를 사용한다.
• SHREC17 3D 형태 분류에서 이 방법은 차원이 작아진 매개변수로도 최첨단 수준과 비슷한 성능을 낸다(보셀 기반 입력 사용).
• CATH 단백질 구조 작업에서 스티어럴 네트워크는 강력한 3D CNN 기준보다 100배 적은 매개변수로 더 높은 정확도를 달성하고, 학습 데이터가 줄어들수록 그 우위를 유지한다.
• 테트리스 유사 3D 실험에서 회전 일반화가 거의 이상적임(회전 시 99±2% 정확도)으로 Baseline CNN의 27±7%에 비해 우수함을 확인한다.
• 논문은 등가 커널, 알리아싱 방지 다운샘플링, 학습 후 표준 3D CNN으로의 실용적 전환 경로를 제공하는 완전한 프레임워크를 제시한다.