[논문 리뷰] Tensor Regression Networks

Jean Kossaifi, Zachary C. Lipton외 4명|arXiv (Cornell University)|2017. 07. 26.

Tensor decomposition and applications참고 문헌 49인용 수 78

한 줄 요약

이 논문은 Tensor Contraction Layers (TCLs)와 Tensor Regression Layers (TRLs)를 도입하여 신경망에서 다중선형 구조를 보존하고, ImageNet에서 경쟁력 있는 정확도와 함께 큰 파라미터 감소를 가능하게 하며 MRI 기반 특성 예측을 개선한다.

ABSTRACT

Convolutional neural networks typically consist of many convolutional layers followed by one or more fully connected layers. While convolutional layers map between high-order activation tensors, the fully connected layers operate on flattened activation vectors. Despite empirical success, this approach has notable drawbacks. Flattening followed by fully connected layers discards multilinear structure in the activations and requires many parameters. We address these problems by incorporating tensor algebraic operations that preserve multilinear structure at every layer. First, we introduce Tensor Contraction Layers (TCLs) that reduce the dimensionality of their input while preserving their multilinear structure using tensor contraction. Next, we introduce Tensor Regression Layers (TRLs), which express outputs through a low-rank multilinear mapping from a high-order activation tensor to an output tensor of arbitrary order. We learn the contraction and regression factors end-to-end, and produce accurate nets with fewer parameters. Additionally, our layers regularize networks by imposing low-rank constraints on the activations (TCL) and regression weights (TRL). Experiments on ImageNet show that, applied to VGG and ResNet architectures, TCLs and TRLs reduce the number of parameters compared to fully connected layers by more than 65% while maintaining or increasing accuracy. In addition to the space savings, our approach's ability to leverage topological structure can be crucial for structured data such as MRI. In particular, we demonstrate significant performance improvements over comparable architectures on three tasks associated with the UK Biobank dataset.

연구 동기 및 목표

• 활성화 텐서의 다중선형 구조를 CNN 전체에서 보존하고, fully connected 계층으로 가기 전에 평탄화하는 대신.
• 활성화를 텐서 수축으로 압축하기 위한 TCL의 도입.
• 평탄화 없이 저랭크 다중선형 매핑을 통해 출력을 모델링하기 위한 TRL의 도입.
• 대규모 및 의료 영상 데이터셋에서 파라미터 효율성 및 정확도 간의 트레이드오프를 보여준다.

제안 방법

• 활성화 텐서 X를 코어 G로 매핑하는 텐서 수축 계층(TCL)을 정의하고 이를 통합하며, X' = X ×1 V(0) ×2 V(1) ... ×N+1 V(N)로 표현한다.
• 저랭크 터커 구조의 가중치 텐서 W = ⟪G; U(0),...,U(N),U(N+1)⟫ 를 학습하는 텐서 회귀 계층(TRL)을 정의하고, Y = ⟨X, W⟩N + b 를 계산한다.
• 엔드 투 엔드 역전파를 가능하게 하기 위해 TCL과 TRL의 기울기(그라디언트) 표현을 도출한다.
• 텐서 곱 뷰를 통해 TCL이 fully connected 레이어와 동등하다는 것을 보이고, 차원의 합과 곱에 따른 파라미터 수 감소를 강조한다.
• 저랭크 부분 공간의 관점에서 Y를 재작성하여 고차원 계산을 최소화하는 효율적인 구현을 제공한다.
• 저랭크 제약 및 인자 행렬의 정규화를 통한 규제에 대해 논의한다.

실험 결과

연구 질문

• RQ1 TCL과 TRL을 통해 다중 모드 텐서 구조를 보존하는 것이 대규모 비전 태스크에서 fully connected 레이어와 동등하거나 그 이상을 달성할 수 있는가?
• RQ2 ImageNet에서 정확도를 유지하면서 TCL과 TRL이 파라미터 수를 어느 정도까지 줄일 수 있는가?
• RQ3 MRI와 같이 구조가 풍부한 의료 영상 데이터에 대해 TRL이 전통적인 평탄화 방식보다 이점을 제공하는가?
• RQ4 텐서화된 아키텍처의 엔드투엔드 학습이 기존 CNN에 비해 성능과 규제(regularization) 측면에서 어떤 차이가 있는가?
• RQ5 현대 하드웨어에서 텐서 수축을 구현할 때의 실질적 효율 이득은 무엇인가?

주요 결과

• ImageNet에서 ResNet-101을 사용하여 FC 계층을 TRL로 대체하면 기준선과 비교해 비슷하거나 더 나은 Top-1/Top-5 정확도를 달성하면서 공간 절감이 크다(예: 기본 대비 25%에서 92.4%의 절감까지).
• 더 작은 TRL 구성은 정확도를 유지하거나 향상시키면서 큰 파라미터 감소를 달성한다(예: 최소한의 정확도 손실으로 최대 약 65%의 공간 절감).
• TRL과 TCL의 결합은 다중선형 구조를 보존하고, flatten+FC를 텐서 기반 매핑으로 대체하여 파라미터를 감소시킨다.
• MRI 기반 UK Biobank 작업(Age, Gender, BMI)에서 TRLs는 기본 3D-ResNet FC 설정을 크게 능가하여 MAE 감소를 달성했다(나이: 2.96→2.70년), 성별 오차 감소(0.79%→0.53%), BMI MAE 감소(2.37→2.26).
• 결과는 텐서 구조의 네트워크가 위상적 데이터 특성, 특히 의료 영상에서 예측 성능을 향상시키는 데 활용될 수 있음을 보여준다.