[논문 리뷰] Task-agnostic Indexes for Deep Learning-based Queries over Unstructured Data.

Daniel Kang, John Guibas외 3명|arXiv (Cornell University)|2020. 09. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 41인용 수 8

한 줄 요약

이 논문은 타겟 DNN의 유도된 스키마를 사용하여 비정형 데이터에서 재사용 가능한, 질의에 관계없는 임베딩을 생성하는 Task-agnostic Semantic Trainable Index(TASTI)를 제안한다. 이러한 임베딩을 군집화함으로써, 각 질의별 프록시 모델을 훈련하지 않고도 다양한 질의에 대해 효율적인 질의 처리를 가능하게 한다. 이로 인해 기존의 프록시 모델 접근 방식에 비해 최대 24배 빠른 질의 성능과 10배 낮은 구축 비용을 달성한다.

ABSTRACT

Unstructured data is now commonly queried by using target deep neural networks (DNNs) to produce structured information, e.g., object types and positions in video. As these target DNNs can be computationally expensive, recent work uses proxy models to produce query-specific proxy scores. These proxy scores are then used in downstream query processing algorithms for improved query execution speeds. Unfortunately, proxy models are often trained per-query, require large amounts of training data from the target DNN, and new training methods per query type. In this work, we develop an index construction method (task-agnostic semantic trainable index, TASTI) that produces reusable embeddings that can be used to generate proxy scores for a wide range of queries, removing the need for query-specific proxies. We observe that many queries over the same dataset only require access to the schema induced by the target DNN. For example, an aggregation query counting the number of cars and a selection query selecting frames of cars require only the object types per frame of video. To leverage this opportunity, TASTI produces embeddings per record that have the key property that close embeddings have similar extracted attributes under the induced schema. Given this property, we show that clustering by embeddings can be used to answer downstream queries efficiently. We theoretically analyze TASTI and show that low training error guarantees downstream query accuracy for a natural class of queries. We evaluate TASTI on four video and text datasets, and three query types. We show that TASTI can be 10x less expensive to construct than proxy models and can outperform them by up to 24x at query time.

연구 동기 및 목표

• 비정형 데이터에 대한 딥러닝 기반 질의에서 각 질의에 맞는 프록시 모델이 필요로 하는 문제를 제거하기 위해.
• 기존의 각 질의별로 훈련되는 프록시 모델이 요구하는 높은 훈련 비용과 데이터 요구량 문제를 해결하기 위해.
• 다양한 질의에 대응할 수 있는 능력을 지닌, 재사용 가능한 인덱스를 개발하여 타겟 DNN의 의미적 구조를 포착하기 위해.
• 학습된 임베딩의 군집화를 통해 스키마 관련 속성을 유지하면서 효율적인 질의 처리를 가능하게 하기 위해.
• 낮은 훈련 오차를 기반으로 자연스러운 질의 클래스에서 질의 정확도를 이론적으로 보장하기 위해.

제안 방법

• TASTI는 타겟 DNN의 특징 공간을 기반으로 비정형 데이터 레코드에 대해 단일 공유 임베딩 함수를 학습한다.
• 학습된 임베딩는 DNN가 추출한 속성 기반으로 의미적으로 유사한 레코드가 가까운 벡터 표현을 가지도록 보장한다.
• 이 방법은 타겟 DNN에서 유도된 스키마—예를 들어 영상 프레임 내 객체 유형 및 위치—를 활용하여 관련 의미적 구조를 정의한다.
• 학습된 임베딩에 군집화를 적용하여 유사한 속성을 가진 레코드를 그룹화함으로써 효율적인 질의 처리를 가능하게 한다.
• 훈련 과정에서 유도된 스키마 하에서 속성이 공유되는 레코드의 임베딩 간 거리 근접성을 강제하기 위해 대비 손실 기반 목적함수를 사용한다.
• 재훈련 없이도 선택, 집계, 범위 질의 등 다양한 질의 유형에 대해 인덱스를 재사용할 수 있다.

실험 결과

연구 질문

• RQ1 각 질의별 프록시 모델 없이도 다양한 질의를 지원할 수 있는 재사용 가능한 임베딩 인덱스를 단일로 구축할 수 있는가?
• RQ2 학습된 임베딩의 품질이 후속 질의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 각 질의별 프록시 모델을 훈련하는 것에 비해 인덱스 구축 비용을 크게 줄일 수 있는가?
• RQ4 임베딩에 대한 군집화가 질의 처리 파이프라인에서 각 질의별 프록시 추론을 얼마나 효과적으로 대체할 수 있는가?
• RQ5 임베딩 훈련 오차 기반으로 질의 정확도에 대해 이론적으로 어떤 보장을 제공할 수 있는가?

주요 결과

• TASTI는 각 질의별 프록시 모델을 훈련하는 것에 비해 인덱스 구축 비용을 최대 10배 낮춘다.
• TASTI는 동일한 워크로드에서 프록시 모델 기반 접근 방식에 비해 질의 실행 속도를 최대 24배 빠르게 한다.
• 낮은 임베딩 훈련 오차와 후속 질의 정확도 간 이론적 보장을 확보함으로써 높은 질의 정확도를 유지한다.
• TASTI는 네 개의 비디오 및 텍스트 데이터셋과 세 가지 질의 유형에서 일관된 성능 향상을 보였다.
• TASTI 임베딩에 대한 군집화를 통해 재훈련 없이도 선택, 집계, 범위 질의를 효율적으로 처리할 수 있다.
• 임베딩가 질의에 특화된 적응 없이도 스키마 관련 속성을 포착함으로써 질의 다양성에 대해 강건함을 입증했다.