[논문 리뷰] A nonnegativity preserving algorithm for multilinear systems with nonsingular M-tensors

Xueli Bai, Hongjin He외 2명|arXiv (Cornell University)|2018. 11. 25.

Tensor decomposition and applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 비음수 우항을 가진 비특이 M텐서를 갖는 다중선형 시스템을 해결하기 위해 뉴턴형 알고리즘인 비음수 보존 알고리즘(NPA)을 제안한다. 이 방법은 모든 반복값이 비음수로 유지되며, 음수가 아닌 해로 수렴하며, 다른 방법이 비음수성을 유지하거나 희박해진 해를 찾는 데 실패할 수 있는 우항에 0이 포함된 경우 기존 솔버보다 뛰어난 성능을 보인다.

ABSTRACT

This paper addresses multilinear systems of equations which arise in various applications such as data mining and numerical partial differential equations. When the multilinear system under consideration involves a nonsingular $\mathcal{M}$-tensor and a nonnegative right-hand side vector, it may have multiple nonnegative solutions. In this paper, we propose an algorithm which can always preserve the nonnegativity of solutions. Theoretically, we show that the sequence generated by the proposed algorithm is a nonnegative decreasing sequence and converges to a nonnegative solution of the system. Numerical results further support the novelty of the proposed method. Particularly, when some elements of the right-hand side vector are zeros, the proposed algorithm works well while existing state-of-the-art solvers may not produce a nonnegative solution.

연구 동기 및 목표

• 비특이 M텐서와 비음수 우항 벡터를 갖는 다중선형 시스템을 다루며, 이는 다수의 비음수 해를 가질 수 있다.
• 반복 과정 전반에 걸쳐 비음수성을 보존하는 알고리즘을 개발하여, 모든 반복값이 비음수로 유지되도록 보장한다.
• 기존 방법이 비음수 해를 생성하지 못하는 경우, 특히 우항에 0 성분이 포함된 경우에도 신뢰할 수 있는 솔버를 제공한다.
• 데이터 마이닝과 수치적 PDE에서 발생하는 희박한 비음수 텐서 방정식을 위한 알고리즘 설계를 지원한다.

제안 방법

• 반복값의 비음수성을 강제로 보장하기 위해 표준 뉴턴 단계를 수정한 뉴턴형 알고리즘(NPA)을 제안한다.
• 잔차를 감소시키면서도 비음수성을 유지하기 위해 선 탐색 전략을 사용한다.
• 각 업데이트 후 음수 성분을 0으로 재설정하는 투영 메커니즘을 구현하여 비음수성을 유지한다.
• 알고리즘은 비음수이면서 감소하는 해 노름의 수열을 생성하며, 이 수열이 비음수 해로 수렴함을 증명한다.
• 잔차 기반 정지 기준을 사용하며, 정밀도 $10^{-8}$을 사용하고, $10^{-5}$ 이하의 성분은 0으로 간주한다.
• 작은 규모와 큰 규모의 문제에 모두 적용하며, 60%의 0 성분을 갖는 희박한 텐서와 `sprand`를 통해 생성된 비음수 우항을 포함한다.

실험 결과

연구 질문

• RQ1 비특이 M텐서와 비음수 우항을 갖는 다중선형 시스템을 해결할 때 반복값의 비음수성을 보존하는 뉴턴형 알고리즘을 설계할 수 있는가?
• RQ2 여러 개의 비음수 해가 존재하는 경우에도 제안된 알고리즘이 비음수 해로 수렴하는가?
• RQ3 우항 벡터에 0 성분이 포함된 경우, 기존 최첨단 솔버인 HM, QCA, NLSQ와 비교해 알고리즘의 성능은 어떠한가?
• RQ4 다른 방법이 오직 양수 해만 생성하는 경우에도 알고리즘이 신뢰성 있게 희박한 비음수 해를 찾을 수 있는가?
• RQ5 대규모 희박한 텐서 시스템에서 제안된 방법의 계산 효율성과 견고성은 어떠한가?

주요 결과

• 제안된 NPA 알고리즘은 비음수이면서 감소하는 수열을 생성하며, 이 수열은 다중선형 시스템의 비음수 해로 수렴한다.
• 수치 실험 결과, NPA는 우항 벡터에 0이 포함된 경우에도 비음수 해를 성공적으로 찾는다. 반면 QCA는 이러한 경우에 실패한다.
• 수렴 곡선과 해의 희박성 분석을 통해 NPA는 희박한 비음수 해를 생성하며, HM과 NLSQ보다 희박성 보존 측면에서 뛰어나다.
• $(m,n) = (3,200)$ 케이스에서 NPA는 더 높은 성공률과 더 낮은 계산 시간을 달성하였으며, 반복 횟수가 더 많더라도 성능이 뛰어나다.
• 희박한 텐서와 비음수 우항을 갖는 100개의 랜덤 테스트 인스턴스에 대해 알고리즘은 일관되게 비음수 해를 반환하며 견고성을 입증한다.
• 테스트된 방법들 중에서 NPA만이 우항이 비음수이지만 엄격히 양수가 아닌 경우에도 신뢰성 있게 비음수이자 희박한 해를 생성한다.