[논문 리뷰] Quantum Tensor Network in Machine Learning: An Application to Tiny Object Classification

Fanjie Kong, Xiao-Yang Liu외 1명|arXiv (Cornell University)|2021. 01. 08.

Computational Physics and Python Applications참고 문헌 13인용 수 10

한 줄 요약

이 논문은 2D 다중 척도 얽힘 재규격화 안자(MERA) 텐서 네트워크 모델을 제안하여 이미지 내 미세 객체 분류 문제를 해결한다. 양자 스핀 모델 이론을 활용해 객체-이미지 비율과 일치하는 얽힘 엔트로피 스케일링을 유도한다. 실험 결과 MERA 모델은 64×64 NeedleMNIST에서 78.4%의 정확도, LIDC에서 76.0%의 정확도를 기록하여 신호 대 잡음비가 낮은 작업에 대해 CNN과의 대안으로서의 타당성을 입증한다.

ABSTRACT

Tiny object classification problem exists in many machine learning applications like medical imaging or remote sensing, where the object of interest usually occupies a small region of the whole image. It is challenging to design an efficient machine learning model with respect to tiny object of interest. Current neural network structures are unable to deal with tiny object efficiently because they are mainly developed for images featured by large scale objects. However, in quantum physics, there is a great theoretical foundation guiding us to analyze the target function for image classification regarding to specific objects size ratio. In our work, we apply Tensor Networks to solve this arising tough machine learning problem. First, we summarize the previous work that connects quantum spin model to image classification and bring the theory into the scenario of tiny object classification. Second, we propose using 2D multi-scale entanglement renormalization ansatz (MERA) to classify tiny objects in image. In the end, our experimental results indicate that tensor network models are effective for tiny object classification problem and potentially will beat state-of-the-art. Our codes will be available online https://github.com/timqqt/MERA_Image_Classification.

연구 동기 및 목표

• 기존의 CNN이 성능을 내기 어려운, 저잡음비를 가진 이미지 내 미세 객체 분류 문제를 해결하기 위해.
• 특히 얽힘 엔트로피와 MERA를 포함한 양자 다체 물리 개념을 활용하여 이미지 분류에서 함수 복잡도를 모델링하기 위해.
• 공간 계층을 효율적으로 학습할 수 있도록, 엔드 투 엔드로 미분 가능한 2D MERA 텐서 네트워크를 개발하고 학습하기 위해.
• 극도로 낮은 객체-이미지 비율을 가진 벤치마크 데이터셋에서 MERA 모델을 CNN 및 하이브리드 텐서 네트워크 모델과 비교 평가하기 위해.

제안 방법

• 이미지 분류 문제를 양자 스핀 모델로 공식화하여, 목표 함수가 이미지 함수 공간과 동형인 힐베르트 공간 내의 골드런 양자 상태에 대응되도록 한다.
• 함수 복잡도의 이론적 측도로 얽힘 엔트로피를 사용하며, 이는 객체-이미지(O2I) 비율과 연결되어 모델 설계를 안내한다.
• 이미지 내 다중 척도 공간 상관관계를 효율적으로 표현하기 위해 계층적인 텐서 네트워크로 2D 다중 척도 얽힘 재규격화 안자(MERA)를 적용한다.
• 표준 역전파 알고리즘과 자동 미분(TensorFlow 등)을 사용하여 MERA 모델을 엔드 투 엔드로 학습시키며, 수렴을 위해 하이퍼파rameter를 조정한다.
• 성능 향상을 비교하기 위해 신경망 기반 모델(Tensor-NN)에 텐서 네트워크 레이어를 통합하여 하이브리드 아키텍처를 도입한다.
• 공간적 구조를 유지하기 위해 1차원 표현을 갖는 픽셀 단위 입력 텐서를 사용하며, MERA 아키텍처에 이를 적용한다.

실험 결과

연구 질문

• RQ1 양자 다체 물리 이론에 기반한 텐서 네트워크가 미세 객체 분류 작업의 복잡도를 효과적으로 모델링할 수 있는가?
• RQ2 목표 함수의 얽힘 엔트로피는 객체-이미지 비율에 따라 어떻게 스케일링되는가? 이를 바탕으로 더 나은 모델을 설계할 수 있는가?
• RQ3 2D MERA 텐서 네트워크가 극도로 낮은 신호 대 잡음비를 가진 데이터셋에서 최신 기술의 CNN과 경쟁하거나 승리할 수 있는가?
• RQ4 학습률 및 가중치 초기화와 같은 하이퍼파rameter가 MERA 모델의 학습 안정성과 수렴에 미치는 영향은 어떠한가?

주요 결과

• 64×64 NeedleMNIST 데이터셋에서 2D MERA 모델은 78.4%의 정확도를 기록하여 베이스라인 CNN(76.0%)을 초월하며, 미세 객체 작업에 대한 강력한 잠재력을 보여준다.
• 1.32% 평균 객체-이미지 비율을 가진 LIDC 데이터셋에서 MERA 모델은 76.0%의 정확도를 달성하여 동일 조건에서 CNN 베이스라인(78.0%)을 능가한다.
• 하이브리드 Tensor-NN 모델은 CNN에 텐서 네트워크 레이어를 통합하여 LIDC에서 86.0%의 정확도를 기록하며, 표준 CNN(78.0%)을 뛰어넘어 텐서 네트워크가 딥 러닝 모델의 성능을 향상시킬 수 있음을 시사한다.
• 하이퍼파rameter 튜닝 결과, 학습률 1e-5와 가중치 표준편차 0.0001이 MERA 수렴에 핵심적인 요소로 밝혀져 초기화 및 최적화에 민감함을 시사한다.
• 학습 곡선 분석 결과, MERA 학습은 최적화 하이퍼파rameter에 민감하며, 부적절한 선택은 불안정한 손실과 정확도를 초래함을 보여주어 텐서 네트워크 최적화의 과제를 드러낸다.
• MNIST에서는 CNN(98.3%)에 비해 성능이 낮은 편(90.3%)이지만, CNN이 실패하는 저잡음비 데이터셋에서 MERA 모델이 실현 가능성과 확장성을 입증하였다.