[논문 리뷰] Low-rank Random Tensor for Bilinear Pooling.

Yan Zhang, Krikamol Muandet외 3명|arXiv (Cornell University)|2019. 06. 03.

Tensor decomposition and applications참고 문헌 13인용 수 5

한 줄 요약

이 논문은 매개변수 수와 계산 비용을 줄이면서도 고차원 특징 표현을 유지하는 저질서 랜덤 텐서 기반 이차 풀링 모델을 제안한다. 저질서 텐서 분해와 무작위 투영을 조합함으로써 신경망 내에서 효율적이고 이론적으로 타당한 특징 융합을 가능하게 하여 세분화된 동작 해석 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Bilinear pooling is capable of extracting high-order information from data, which makes it suitable for fine-grained visual understanding and information fusion. Despite their effectiveness in various applications, bilinear models with massive number of parameters can easily suffer from curse of dimensionality and intractable computation. In this paper, we propose a novel bilinear model based on low-rank random tensors. The key idea is to effectively combine low-rank tensor decomposition and random projection to reduce the number of parameters while preserving the model representativeness. From the theoretical perspective, we prove that our bilinear model with random tensors can estimate feature maps to reproducing kernel Hilbert spaces (RKHSs) with compositional kernels, grounding the high-dimensional feature fusion with theoretical foundations. From the application perspective, our low-rank tensor operation is lightweight, and can be integrated into standard neural network architectures to enable high-order information fusion. We perform extensive experiments to show that the use of our model leads to state-of-the-art performance on several challenging fine-grained action parsing benchmarks.

연구 동기 및 목표

• 매우 큰 매개변수 수를 가진 이차 풀링 모델에서 차원의 극복 문제와 계산 비용 증가 문제를 해결하기 위해.
• 표준 이차 풀링의 대안으로서 매개변수 효율적이면서도 표현 능력을 유지하는 방법을 개발하기 위해.
• 랜덤 텐서와 재생 커널 힐버트 공간(RKHS)을 사용한 고차원 특징 융합에 대한 이론적 근거를 제공하기 위해.
• 표준 신경망 아키텍처에 고차원 특징 융합을 원활하게 통합하기 위해.
• 경량적이고 확장 가능한 설계를 통해 세분화된 동작 해석 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이차 풀링 연산 내의 매개변수 수를 줄이기 위해 저질서 텐서 분해를 활용한다.
• 고차원 특징 맵을 효율적으로 근사하기 위해 무작위 투영을 적용한다.
• 저질서 분해와 무작위 투영을 조합하여 경량적이고 확장 가능한 이차 모델을 구축한다.
• 이론적 분석을 통해 모델이 조합 커널을 사용하여 재생 커널 힐버트 공간(RKHS) 내의 특징 맵을 추정할 수 있음을 보여준다.
• 매개변수 공간을 축소함에도 불구하고 이차 풀링의 표현 능력을 유지함으로써 표현 능력을 보존한다.
• 엔드 투 엔드 학습을 위해 표준 신경망 아키텍처 내에서 즉시 사용 가능한 방식으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 저질서 랜덤 텐서는 이차 풀링의 매개변수 수를 줄이면서도 표현 능력을 유지하는 데 효과적인가?
• RQ2 제안된 방법은 RKHS 추정을 통한 고차원 특징 융합에 대해 이론적 근거를 제공하는가?
• RQ3 세분화된 시각 이해 작업에서 표준 이차 풀링과 비교해 모델의 성능은 어떠한가?
• RQ4 표준 신경망 아키텍처에 큰 계산 오버헤드 없이 효율적으로 통합될 수 있는가?
• RQ5 이 방법은 도전적인 동작 해석 벤치마크에서 성능 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 저질서 랜덤 텐서 모델은 표준 이차 풀링 대비 매개변수 수를 크게 줄여 효율적인 계산을 가능하게 한다.
• 이론적 분석을 통해 모델이 조합 커널을 사용하여 재생 커널 힐버트 공간(RKHS) 내의 특징 맵을 추정할 수 있음을 확인한다.
• 매개변수 감소에도 불구하고 강력한 표현 능력을 유지하여 효과적인 고차원 특징 융합이 가능하다.
• 광범위한 실험을 통해 여러 세분화된 동작 해석 벤치마크에서 최신 기술 수준의 성능을 입증한다.
• 최소한의 계산 오버헤드로 높은 정확도를 달성하여 실세계 시각 작업에 대한 구현에 적합하다.
• 표준 신경망 아키텍처에 모델을 통합하는 것이 간단하고 효과적이며, 아키텍처 재설계 없이도 가능하다.