[논문 리뷰] Use and implementation of autodifferentiation in tensor network methods with complex scalars

Claudius Hubig|arXiv (Cornell University)|2019. 07. 31.

Computational Physics and Python Applications참고 문헌 7인용 수 5

한 줄 요약

이 논문은 복소 스칼라를 사용하여 텐서 네트워크 툴킷에서 역방향 자동 미분(AD)의 실용적 구현을 제시하며, 원래의 C++ 텐서 라이브러리를 확장하는 데 1,000줄 미만의 코드로 AD를 지원할 수 있음을 보여준다. 복소 스칼라 하에서 핵심 텐서 연산인 QR 및 SVD를 미분하기 위한 수학적 기초를 구축하며, 주요 기여는 복소 SVD의 수반을 유도하여 양자 다체계 시뮬레이션에서 종단 간 백프로파게이션을 가능하게 한 것이다.

ABSTRACT

Following the recent preprints arXiv:1903.09650 and arXiv:1906.04654 we comment on the feasibility of implementation of autodifferentiation in standard tensor network toolkits by briefly walking through the steps to do so. The total implementation effort comes down to fewer than 1000 lines of additional code. We furthermore summarise the current status when the method is applied to cases where the underlying scalars are complex, not real and the final result is a real-valued scalar. It is straightforward to generalise most operations (addition, tensor products and also the QR decomposition) to this case and after the initial submission of these notes, also the adjoint of the complex SVD has been found.

연구 동기 및 목표

• PyTorch나 TensorFlow와 같은 외부 프레임워크에 의존하지 않고, 네이티브 텐서 네트워크 툴킷에서 역방향 자동 미분을 가능하게 하기 위해.
• 덧셈, 텐서 곱, QR 분해, SVD와 같은 표준 텐서 연산을 복소 스칼라 산술으로 확장하면서도 미분 가능성을 유지하기 위해.
• 복소 특이값 분해(SVD)의 수반을 유도하고 검증하기 위해, 이는 양자 다체계에서 기반으로 하는 최적화에 있어 필수적인 누락된 구성 요소이기 때문이다.
• 특히 U 및 V 행렬의 위상 변환 하에서 게이지 불변성을 보장하기 위해 SVD 수반 계산에서 게이지 불변성을 확보하기 위해.
• 대칭성과 고체물리학 시뮬레이션에서의 비동기 텐서 캐싱과 호환되는 테스트 가능하고 효율적이며 모듈화된 AD 프레임워크를 제공하기 위해.

제안 방법

• 계산 그래프를 추적하기 위해 STensor 클래스에 자동미분 ID와 ComputeNode 객체에 대한 공유 포인터를 추가하여 확장하였다.
• 각각 입력/출력 의존성, 수반 평가 함수, 백프로파게이션을 위한 캐시된 텐서 데이터를 저장하는 계산 노드로 구성된 방향성 비순환 그래프(DAG)를 구축하였다.
• 각 연산에 대해 사전 정의된 수반 평가자 함수를 사용하여, DAG를 역행 방향으로 탐색함으로써 역방향 AD를 구현하였다.
• 수반의 복소 QR 분해를 유도하기 위해, Q와 R의 미분을 출력 수반과 입력 변형에 따라 표현하였으며, 복소 수반과 에르미트 구조를 적절히 반영하였다.
• 실수 SVD 수반 유도를 복소수로 확장하여, 위상 모호성 문제를 해결하기 위해 게이지 조건(예: V의 첫 번째 열이 실수이면서 양수)을 강제 적용하고, 게이지 불변 비용 함수를 보장하였다.
• 편미분 비교를 통해 입력을 변형한 결과를 사용하여 구현을 검증하였으며, 복소 텐서에서 유도된 실수 비용 함수(예: 노름, 추적, 또는 특정 요소)의 기울기를 테스트하였다.

실험 결과

연구 질문

• RQ1 외부 AD 라이브러리 없이 C++ 텐서 네트워크 툴킷에서 역방향 자동 미분을 효율적이고 네이티브 방식으로 구현할 수 있는가?
• RQ2 복소 QR 분해의 수반은 어떻게 도출하고 구현할 수 있는가? 특히 복소 수반과 에르미트 구조를 고려해야 한다.
• RQ3 복소 특이값 분해(SVD)를 미분할 때 발생하는 수학적 및 계산적 과제는 무엇이며, 게이지 자유도를 어떻게 활용하여 미분 가능성을 확보할 수 있는가?
• RQ4 최종 출력이 실수 스칼라이지만 중간 단계의 스칼라는 복소수인 경우, 결과로 도출된 AD 프레임워크를 어떻게 강력하게 테스트할 수 있는가?
• RQ5 U 및 V의 위상 변환 하에서 비용 함수의 게이지 불변성을 유지하는 방식으로 복소 SVD의 수반을 계산할 수 있는가?

주요 결과

• 네이티브 텐서 네트워크 툴킷에서 역방향 AD를 구현하기 위해 추가로 필요한 C++ 코드는 1,000줄 미만이며, 핵심 프레임워크(계산 노드 그래프 및 수반 전파)는 약 350줄로 구현되었다.
• 복소 QR 분해의 수반은 성공적으로 유도되었으며, Q와 R의 미분은 출력 수반과 입력 변형에 따라 표현되었고, 복소 수반 처리가 정확히 반영되었다.
• 복소 SVD의 미분은 위상 모호성으로 인해 비단순한 문제였지만, 게이지 조건(예: V의 첫 번째 열이 실수이면서 양수)을 강제 적용함으로써 최적화 워크플로우에서 사용 가능한 SVD의 미분 가능성을 확보하였다.
• 유도된 복소 SVD 수반은 U 및 V의 유니터리 변환 하에서 기울기가 불변함을 보장하며, 이는 물리적 일관성에 필수적이다.
• 노름, 추적, 또는 특정 텐서 요소와 같은 복소 텐서에서 유도된 실수 비용 함수를 위한 효율적인 기울기 계산을 지원하여, 에너지 최소화 및 변분 알고리즘에서의 활용이 가능하다.
• 편미분 비교를 통한 테스트 결과, 복소 텐서 입력에 대한 작은 변형에서 수치 정밀도 수준까지 일치함을 확인하여 AD 구현의 정확성을 검증하였다.