[논문 리뷰] Fast multi-output relevance vector regression

Youngmin Ha|arXiv (Cornell University)|2017. 04. 17.

Face and Expression Recognition참고 문헌 23인용 수 4

한 줄 요약

이 논문은 다중 출력 상관관계를 행렬 정규분포로 모델링함으로써 기존의 다중 출력 관련 벡터 회귀(MRVR) 알고리즘의 시간 복잡도를 O(VM³)에서 O(V³ + M³)로 감소시켜 보다 빠른 계산을 가능하게 하는 새로운 알고리즘을 제안한다. 이는 출력 차원이 클수록 특히 두드러진 성능 향상을 가져오며, 노이즈 공분산 추정 정확도도 향상시키지만, 가중치 정규화의 구조적 가정으로 인해 평균 예측 정확도는 약간 떨어지고 관련 벡터 수는 증가하는 단점이 있다.

ABSTRACT

This paper aims to decrease the time complexity of multi-output relevance vector regression from O(VM^3) to O(V^3+M^3), where V is the number of output dimensions, M is the number of basis functions, and V

연구 동기 및 목표

• 대규모 다차원 출력 문제에 대해 다중 출력 관련 벡터 회귀(MRVR)의 계산 시간 복잡도를 감소시키는 것.
• 행렬 정규분포를 통해 출력 상관관계를 명시적으로 모델링함으로써 노이즈 공분산 행렬 추정 정확도를 향상시키는 것.
• 출력 차원(V)과 기저 함수 수(M)가 증가함에 따라 성능이 급격히 떨어지는 기존 MRVR 방법의 비효율성을 해결하는 것.
• 계산 속도와 예측 정확도 사이의 균형을 확보하며, 모델에 내재된 구조적 가정이 초래하는 상호 상충 관계를 규명하는 것.

제안 방법

• 기존 MRVR에서 다중 정규분포 우도 모델을 행렬 정규분포로 대체하여 노이즈 구조 내의 다중 출력 상관관계를 더 잘 포착한다.
• 행렬 미적분을 활용해 가중치의 사후분포에 대한 새로운 폐형 해를 유도함으로써, 효율적인 행렬 역행렬 계산을 통해 빠른 계산을 가능하게 한다.
• 가중치 행렬을 제약하기 위해 핵심 가정 Ω = E[WᵀW]/tr(A⁻¹)을 도입함으로써 계산 속도를 향상시키지만, 이는 평균 예측 정확도에 영향을 미친다.
• 커널 트릭과 희소 베이지안 학습 원리를 활용하여 모델의 유연성을 유지하면서도 계산 부담을 줄인다.
• 대부분의 응용에서 V < M를 만족하므로, 기존의 O(VM³) 복잡도 대신 V×V 및 M×M 행렬의 역행렬 연산(O(V³ + M³))을 활용한다.
• 재현 가능성을 확보하고 보급을 촉진하기 위해 MATLAB로 알고리즘을 구현하고 공개된 코드를 제공한다.

실험 결과

연구 질문

• RQ1 다중 출력 관련 벡터 회귀의 시간 복잡도를 O(VM³)에서 O(V³ + M³)로 감소시킬 수 있는가, 이때 예측 성능은 손상되지 않는가?
• RQ2 행렬 정규분포를 통해 출력 상관관계를 모델링할 경우, 독립된 가우시안 가정 대비 노이즈 공분산 추정 정확도가 어떻게 향상되는가?
• RQ3 Ω = E[WᵀW]/tr(A⁻¹)의 구조적 가정으로 인해 평균 예측 정확도와 관련 벡터 수에 어떤 상충 관계가 발생하는가?
• RQ4 제안된 방법은 출력 차원 수(V)와 기저 함수 수(M)가 증가함에 따라 어떻게 스케일링되는가?

주요 결과

• 제안된 MRVR 방법은 시간 복잡도를 O(VM³)에서 O(V³ + M³)로 감소시켜, 특히 V와 M이 클 경우에 크게 빠른 계산 성능을 보였다.
• 모든 테스트 설정에서 공분산 추정의 RMSE가 낮아져, 노이즈 공분산 행렬 Ω의 추정 정확도가 높아졌다.
• 제안된 방법과 기존 방법 간의 계산 시간 격차는 V와 N이 클수록 커지며, 이는 이론적 복잡도 우월성을 확인한다.
• 제안된 방법은 평균 예측의 RMSE가 높아(표 5 참조) 특히 V가 높고 N이 낮을 경우 진짜 함수 평균을 추정하는 데 정확도가 떨어지는 경향을 보였다.
• 관련 벡터(RVs)의 수가 제안된 방법에서 더 많아(표 6 참조) 가중치 정규화 가정으로 인해 해가 덜 흐린 해가 되었다.
• 평균 정확도와 흐림 정도의 상충 관계가 있음에도 불구하고, 노이즈 공분산 추정 정확도와 계산 효율성이 높아, 이러한 요소들이 우선시되는 응용 분야에 적합하다.