[논문 리뷰] Post-Processing of High-Dimensional Data

Alexander Litvinenko, Mike Espig외 3명|arXiv (Cornell University)|2019. 01. 01.

Tensor decomposition and applications참고 문헌 56인용 수 1

한 줄 요약

이 논문은 고차원 압축 데이터를 텐서로 표현할 때, 내적을 갖는 추상적 결합법칙적·교환법칙적 대수에서 대수 연산을 활용하여 효율적인 후처리 프레임워크를 제안한다. 이는 전체 데이터를 복원하지 않고도 최댓값/최솟값, 등고선, 빈도수, 확률, 모멘트와 같은 주요 통계적·극값 성질을 낮은 질량 또는 압축된 텐서 표현에서 고정점 반복을 통해 계산할 수 있도록 한다.

ABSTRACT

Scientific computations or measurements may result in huge volumes of data. Often these can be thought of representing a real-valued function on a high-dimensional domain, and can be conceptually arranged in the format of a tensor of high degree in some truncated or lossy compressed format. We look at some common post-processing tasks which are not obvious in the compressed format, as such huge data sets can not be stored in their entirety, and the value of an element is not readily accessible through simple look-up. The tasks we consider are finding the location of maximum or minimum, or minimum and maximum of a function of the data, or finding the indices of all elements in some interval --- i.e. level sets, the number of elements with a value in such a level set, the probability of an element being in a particular level set, and the mean and variance of the total collection. The algorithms to be described are fixed point iterations of particular functions of the tensor, which will then exhibit the desired result. For this, the data is considered as an element of a high degree tensor space, although in an abstract sense, the algorithms are independent of the representation of the data as a tensor. All that we require is that the data can be considered as an element of an associative, commutative algebra with an inner product. Such an algebra is isomorphic to a commutative sub-algebra of the usual matrix algebra, allowing the use of matrix algorithms to accomplish the mentioned tasks. We allow the actual computational representation to be a lossy compression, and we allow the algebra operations to be performed in an approximate fashion, so as to maintain a high compression level. One such example which we address explicitly is the representation of data as a tensor with compression in the form of a low-rank representation.

연구 동기 및 목표

• 압축되거나 잘라낸 텐서 형식으로 저장된 거대하고 고차원적인 데이터에 대한 후처리 작업을 해결하는 데 초점 맞추기.
• 손실 압축 또는 낮은 질량 압축으로 인해 개별 데이터 값에 직접 접근이 불가능한 제약를 극복하기.
• 전체 복원 없이도 극값, 등고선, 통계 모멘트(평균, 분산) 계산 가능하게 하기.
• 텐서 표현 방식에 종속되지 않는 일반 목적의 계산 프레임워크 개발하기.
• 핵심 후처리 작업의 정확성을 유지하면서도 높은 압축 수준 유지를 위해 근사 대수 연산을 허용하기.

제안 방법

• 압축된 데이터를 고차원 텐서 공간의 원소로 모델링하고, 내적을 갖는 결합법칙적·교환법칙적 대수로 추상화하기.
• 후처리 작업을 데이터의 대수적 구조 위에서 정의된 특정 함수의 고정점 반복로 수식화하기.
• 대수와 행렬 대수의 교환법칙적 부분대수 사이의 동형을 활용하여 기존의 행렬 알고리즘 적용하기.
• 처리 중에 높은 압축 비율을 유지하기 위해 대수 연산의 근사 계산 허용하기.
• 손실 압축과 호환되는 주요 예시로 낮은 질량 텐서 표현 명시적으로 다루기.
• 반복 수렴을 통해 최댓값/최솟값, 등고선 색인, 통계 모멘트와 같은 전역 성질 계산하기.

실험 결과

연구 질문

• RQ1 전체 복원 없이도 압축된 고차원 텐서에서 최댓값과 최솟값을 어떻게 계산할 수 있는가?
• RQ2 손실 압축된 데이터에서 등고선과 그 기수를 효율적으로 계산할 수 있는 대수적 프레임워크는 무엇인가?
• RQ3 압축된 환경에서 대수적 연산의 근사화가 이루어져도 평균과 분산과 같은 통계 모멘트를 신뢰성 있게 계산할 수 있는가?
• RQ4 고정점 반복 기반 방법이 텐서에서 유도된 추상 대수적 구조에서 후처리 작업을 해결하는 데 얼마나 효과적인가?
• RQ5 이 프레임워크는 계산 결과의 정확성을 보장하면서도 높은 압축 수준을 유지하는 데 어떻게 기여하는가?

주요 결과

• 이 프레임워크는 압축된 텐서 데이터에서 기초 대수적 구조 위의 고정점 반복을 통해 최댓값과 최솟값을 계산할 수 있도록 한다.
• 데이터를 복원하지 않고도 압축 도메인에서 반복적인 대수 연산을 통해 등고선과 그 기수를 계산할 수 있다.
• 특정 구간 내에 원소가 속할 확률은 대수 함수의 반복 평가를 통해 추정할 수 있다.
• 평균과 분산과 같은 통계 모멘트는 주어진 대수 모델 하에서 정확한 값으로 수렴하는 고정점 반복을 통해 접근 가능하다.
• 대수 연산이 근사화되어도 이 방법은 여전히 효과적이며, 고압축 수준을 유지하면서 계산 가능성을 확보한다.
• 이 방법은 텐서 표현 방식에 종속되지 않으며, 오직 결합법칙적·교환법칙적 대수와 내적의 존재에 의존하는 일반적인 접근이다.